首页 > 商机 > 被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX....

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

[2022-06-15 13:13:00] 编辑:前沿军情 点击量:3
评论 点击收藏
导读:techsina编/拉燕如願好困可惜到了TensorFlow这里,谷歌是被困住的那一个。正是因为上面这些原因,原先给谷歌卖命的开发者,慢慢对老东家失去了信心。昔日无处不在的TensorFlow渐渐陨落,败给了Meta的后起之秀——PyTorch。2017年,PyTorch的测试 .....

techsina

编/拉燕如願 好困

可惜到了TensorFlow这里,谷歌是被困住的那一个。

正是因为上面这些原因,原先给谷歌卖命的开发者,慢慢对老东家失去了信心。

昔日无处不在的TensorFlow渐渐陨落,败给了Meta的后起之秀——PyTorch。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

2017年,PyTorch的测试版开源。

2018年,Facebook的人工智能研究实验室发布了PyTorch的完整版本。

值得一提的是,PyTorch和TensorFlow都是基于Python开发的,而Meta则更注重维护开源社区,甚至不惜大量投入资源。

而且,Meta关注到了谷歌的问题所在,认为不能重蹈覆辙。他们专注于一小部分功能,并把这些功能做到最好。

Meta并没有步谷歌的后尘。这款首先在Facebook开发出来的框架,慢慢成为了行业标杆。

一家机器学习初创公司的研究工程师表示,‘我们基本都用PyTorch。它的社群和开源做得是最出色的。不仅有问必答,给的例子也很实用。’

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

面对这种局面,谷歌的开发者、硬件专家、云提供商,以及任何和谷歌机器学习相关的人员在接受采访时都说了一样的话,他们认为TensorFlow失掉了开发者的心。

经历了一系列的明争暗斗,Meta最终占了上风。

有专家表示,谷歌未来继续引领机器学习的机会正慢慢流失。

PyTorch逐渐成为了寻常开发者和研究人员的首选工具。

从Stack Overflow提供的互动数据上看,在开发者论坛上有关PyTorch的提问越来越多,而关于TensorFlow的最近几年一直处于停滞状态。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

就连文章开始提到的优步等等公司也转向PyTorch了。

甚至,PyTorch后来的每一次更新,都像是在打TensorFlow的脸。

谷歌机器学习的未来——JAX

就在TensorFlow和PyTorch打得热火朝天的时候,谷歌内部的一个‘小型黑马研究团队’开始致力于开发一个全新的框架,可以更加便捷地利用TPU。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

2018年,一篇题为《Compiling machine learning programs via high-level tracing》的论文,让JAX项目浮出水面,作者是Roy Frostig、Matthew James Johnson和Chris Leary。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

从左至右依次是这三位大神

而后,PyTorch原始作者之一的Adam Paszke,也在2020年初全职加入了JAX团队。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

JAX提供了一个更直接的方法用于处理机器学习中最复杂的问题之一:多核处理器调度问题。

根据所应用的情况,JAX会自动地将若干个芯片组合而成一个小团体,而不是让一个去单打独斗。

如此带来的好处就是,让尽可能多的TPU片刻间就能得到响应,从而燃烧我们的‘炼丹小宇宙’。

最终,相比于臃肿的TensorFlow,JAX解决了谷歌内部的一个心头大患:如何快速访问TPU。

下面简单介绍一下构成JAX的Autograd和XLA。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

Autograd主要应用于基于梯度的优化,可以自动区分Python和Numpy代码。

它既可以用来处理Python的一个子集,包括循环、递归和闭包,也可以对导数的导数进行求导。

此外,Autograd支持梯度的反向传播,这也就这意味着它可以有效地获取标量值函数相对于数组值参数的梯度,以及前向模式微分,并且两者可以任意组合。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

XLA可以加速TensorFlow模型而无需更改源代码。

当一个程序运行时,所有的操作都由执行器单独执行。每个操作都有一个预编译的GPU内核实现,执行器会分派到该内核实现。

举个栗子:

def model_fn: return tf.reduce_sum

在没有XLA的情况下运行,该部分会启动三个内核:一个用于乘法,一个用于加法,一个用于减法。

而XLA可以通过将加法、乘法和减法‘融合’到单个GPU内核中,从而实现优化。

这种融合操作不会将由内存产生的中间值写入y*z内存x+y*z;相反,它将这些中间计算的结果直接‘流式传输’给用户,同时将它们完全保存在GPU中。

在实践中,XLA可以实现约7倍的性能改进和约5倍的batch大小改进。

此外,XLA和Autograd可以任意组合,甚至可以利用pmap方法一次使用多个GPU或TPU内核进行编程。

而将JAX与Autograd和Numpy相结合的话,就可以获得一个面向CPU、GPU和TPU的易于编程且高性能的机器学习系统了。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

显然,谷歌这一次吸取了教训,除了在自家全面铺开以外,在推进开源生态的建设方面,也是格外地积极。

2020年DeepMind正式投入JAX的怀抱,而这也宣告了谷歌亲自下场,自此之后各种开源的库层出不穷。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX 被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

纵观整场‘明争暗斗’,贾扬清表示,在批评TensorFlow的进程中,AI系统认为Pythonic的科研就是全部需求。

但一方面纯Python无法实现高效的软硬协同设计,另一方面上层分布式系统依然需要高效的抽象。

而JAX正是在寻找更好的平衡,谷歌这种愿意颠覆自己的pragmatism非常值得学习。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

causact R软件包和相关贝叶斯分析教科书的作者表示,自己很高兴看到谷歌从TF过渡到JAX,一个更干净的解决方案。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

谷歌的挑战

作为一个新秀,Jax虽然可以借鉴PyTorch和TensorFlow这两位老前辈的优点,但有的时候后发可能也会带来劣势。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

首先,JAX还太‘年轻’,作为实验性的框架,远没有达到一个成熟的谷歌产品的标准。

除了各种隐藏的bug以外,JAX在一些问题上仍然要依赖于其他框架。

拿加载和预处理数据来说,就需要用TensorFlow或PyTorch来处理大部分的设置。

显然,这和理想的‘一站式’框架还相去甚远。

被PyTorch打爆!谷歌抛弃TensorFlow,押宝JAX

其次,JAX主要针对TPU进行了高度的优化,但是到了GPU和CPU上,就要差得多了。

一方面,谷歌在2018年至2021年组织和战略的混乱,导致在对GPU进行支持上的研发的资金不足,以及对相关问题的处理优先级靠后。

与此同时,大概是过于专注于让自家的TPU能在AI加速上分得更多的蛋糕,和英伟达的合作自然十分匮乏,更不用说完善对GPU的支持这种细节问题了。

另一方面,谷歌自己的内部研究,不用想肯定都集中在TPU上,这就导致谷歌失去了对GPU使用的良好反馈回路。

此外,更长的调试时间、并未与Windows兼容、未跟踪副作用的风险等等,都增加了Jax的使用门槛以及友好程度。

现在,PyTorch已经快6岁了,但完全没有TensorFlow当年显现出的颓势。

如此看来,想要后来者居上的话,Jax还有很长一段路要走。

参考资料:

https://

热门搜索:
网友评论
本文共有 0人参与评论
用户名:
密码:
验证码:  
匿名发表

投稿咨询