| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
OPEN编辑
4年前发布

TensorFlow被曝存在严重bug,搭配Keras可能丢失权重

  最近,一位从事 NLP 工程师 Gupta 发现了 TensorFlow 存在的一个严重 bug:

  每个在自定义层中使用 Keras 函数式 API 的用户都要注意了!使用用 Keras 的 Functional API 创建的权重,可能会丢失。

  这一话题在 Reddit 机器学习板块上被热议,引起不少 TensorFlow 用户共鸣。

  具体来说,就是在 API 中使用自定义层,会导致 trainable_variables 中的权重无法更新。而且这些权重也不会放入 non_trainable_variables 中。

  也就是说,原本需要训练的权重现在被冻结了。

  让这位工程师感到不满的是,他大约一个月前在 GitHub 中把这个 bug 报告给谷歌,结果谷歌官方到现在还没有修复

  解决办法

  如何检验自己的代码是否会出现类似问题呢?请调用 model.trainable_variables 来检测自己的模型:

  看看你所有的可变权重是否正确,如果权重缺失或者未发生变化,说明你也中招了。

  Gupta 还自己用 Transformer 库创建模型的 bug 在 Colab 笔记本中复现了,有兴趣的读者可以前去观看。

  https://colab.research.google.com/gist/Santosh-Gupta/40c54e5b76e3f522fa78da6a248b6826/missingtrainablevarsinference_var.ipynb

  对此问题,Gupta 给出的一种解决方法是:改为使用 Keras 子类创建模型。改用此方法后,所有的权重都将出现在 trainable_variables 中。

  为了绝对确保用函数式 API 和子类方法创建的模型完全相同,Gupta 在每个 Colab 笔记本底部使用相同的输入对它们进行了推理,模型的输出完全相同。

  但是,使用函数式 API 模型进行训练会将许多权重视为冻结,而且这些权重也没有出现在 non_trainable_variables 中,因此无法为这些权重解冻。

  为了检查谷歌最近是否修复了该漏洞,Gupta 还安装了 Nightly 版的 TF 2.3.0-rc1,保持框架处于最新状态,但如今 bug 依然存在。

  网友:还是用 PyTorch 吧

  刚刚,Keras 创始人在 推ter 上回复,这不是 Keras 的 bug,并建议程序员使用单元测试。

  对于 Gupta 所说的 bug,有网友说,他在 TensorFlow 和 Keras 之间传递权重的时候,出现了类似的错误,从此转而使用 PyTorch。

  另外还有不少网友也反映,谷歌的框架不太完善,管理方式一团糟,是在让用户帮他们测试 TensorFlow 的 bug。

  反观 PyTorch,说明文档通俗易懂,最近官方还出了免费电子书,难道用 PyTorch 不香吗?

  你现在在使用哪种深度学习框架,你也遇到过类似的严重 bug 吗?

  原帖链接:
https://www.reddit.com/r/MachineLearning/comments/hrawam/d_theres_a_flawbug_in_tensorflow_thats_preventing/