加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 湛江站长网 (https://www.0759zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 建站 > 正文

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

发布时间:2019-10-13 20:36:56 所属栏目:建站 来源:thegradient 编译:张大笔茹、曹培信、刘俊寰、牛婉
导读:副标题#e# 大数据文摘出品 来源:thegradient 编译:张大笔茹、曹培信、刘俊寰、牛婉扬、Andy 2019年,机器学习框架之争进入了新阶段:PyTorch与TensorFlow成为最后两大玩家,PyTorch占据学术界领军地位,TensorFlow在工业界力量依然强大,两个框架都在向对

这将TensorFlow置于与PyTorch相同的位置,它们的解析方式基本相同——你可以跟踪代码(tf.function)或重新解释Python代码(Autograph)。

2019机器学习框架之争:与Tensorflow竞争白热化,进击的PyTorch赢在哪里?

因此,TensorFlow的Eager模式并不能真正做到“两全其美”。虽然可以使用 tf.function注释将eager code转换为静态图,但这永远不会是一个无缝转换的流程(PyTorch的TorchScript也有类似的问题)。跟踪基本上是有限的,重新解释Python代码实际上需要重写Python编译器的大部分内容。

当然,通过限制在深度学习中使用的Python子集,范围可以大大简化。

在默认启用Eager模式时,TensorFlow将强迫用户做出选择——为了便于使用而Eager执行,并且需要为部署而重写,或者根本不使用急于执行。

虽然这与PyTorch的情况相同,但PyTorch的TorchScript的可选择加入特性可能比TensorFlow的“默认Eager”更容易接受。

四、机器学习框架的现状

PyTorch在研究领域领先,并试图扩展到工业领域。而TensorFlow正试图在不牺牲太多产业优势的情况下,更多的参与到研究领域。

PyTorch要在行业中产生有意义的影响肯定还需要很长时间,毕竟TensorFlow在产业界的影响力已经根深蒂固。然而,从TensorFlow 1.0到2.0的转换为企业评估PyTorch提供了一个绝佳的机会。

至于未来,将取决于谁能最好地解决以下问题。

  • 研究者偏好对产业的影响有多大?随着当前一批博士研究生开始毕业,他们也许会带上用惯的PyTorch。这种势头是否足够明显,以至于公司会选择PyTorch用于招聘的条件?同时毕业生会在PyTorch的基础上创业吗?
  • TensorFlow的Eager模式在可用性上能赶上PyTorch吗?就网上的反应来看,TensorFlow Eager严重受到性能/内存方面问题的困扰,而且Autograph也有自己的问题。谷歌将花费大量的工程努力,但TensorFlow还是背负着历史包袱
  • PyTorch满足产业需求的速度有多快?PyTorch还有许多没有解决的基本问题——没有好的量化支持、不支持移动等等。在这些问题得到解决之前,PyTorch甚至不会成为许多公司的选择。PyTorch能否为企业提供一个足够吸引人的故事来进行转型?注意:PyTorch已经宣布支持量化和移动。虽然两者都还处于试验阶段,但代表了PyTorch在这方面的重大进展。
  • 谷歌在行业中的孤立会伤害TensorFlow吗?谷歌推动TensorFlow的主要原因之一是帮助其蓬勃发展的云服务。由于谷歌试图拥有整个机器学习垂直领域,这促使谷歌与之竞争的公司(如微软、亚马逊、Nvidia)支持只能支持PyTorch。

五、下一步怎么走?

机器学习框架在多大程度上影响了机器学习的研究呢?

它不仅使机器学习研究成为可能,更让研究人员能够更轻松地探索。有多少新的想法因为没有简单的方法在框架中表达而被扼杀?PyTorch已经达到了研究的本地极小值,但是值得研究的其他框架提供了什么?还有什么样的研究机会?

1. 计算高阶导数的问题

(编辑:PHP编程网 - 湛江站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!