深度学习模型扩展性能不佳?IBM独辟蹊径积极应对

日期: 2017-09-14 作者:Ed Burns翻译:乔俊婧 来源:TechTarget中国 英文

在训练深度学习模型时使用更多的GPU并不总是能带来更快的结果,但是IBM的新软件表明可以做到这一点。 GPU很适合深度学习,因为它们可以快速地收集大量数据,这对于训练数据饥饿模型很重要,但与此同时也存在一些问题。 将更多的图形处理单元(GPU)添加到深度学习平台不一定会导致更快的结果。虽然单个GPU可以快速处理数据,但是它们的计算速度可能比较慢,这些GPU可能会将其计算量传达给其他GPU,这限制了用户可以利用多个服务器来并行化作业的程度,并且限制了深度学习模型的可扩展性。

IBM最近解决了这个问题,提高了深度学习的可扩展性,并为它的深度学习平台编写了代码,以改善GPU之间的通信。 IBM的系统……

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

【所有原创内容版权均属TechTarget,欢迎大家转发分享。但未经授权,严禁任何媒体(平面媒体、网络媒体、自媒体等)以及微信公众号复制、转载、摘编或以其他方式进行使用。】

微信公众号

TechTarget微信公众号二维码

TechTarget

官方微博

TechTarget中国官方微博二维码

TechTarget中国

在训练深度学习模型时使用更多的GPU并不总是能带来更快的结果,但是IBM的新软件表明可以做到这一点。 GPU很适合深度学习,因为它们可以快速地收集大量数据,这对于训练数据饥饿模型很重要,但与此同时也存在一些问题。 将更多的图形处理单元(GPU)添加到深度学习平台不一定会导致更快的结果。虽然单个GPU可以快速处理数据,但是它们的计算速度可能比较慢,这些GPU可能会将其计算量传达给其他GPU,这限制了用户可以利用多个服务器来并行化作业的程度,并且限制了深度学习模型的可扩展性。 IBM最近解决了这个问题,提高了深度学习的可扩展性,并为它的深度学习平台编写了代码,以改善GPU之间的通信。 IBM的系统加速和内存总监Hillery Hunter表示:“GPU之间的更新速度显着影响了扩展深度学习的能力。由于等待时间过于漫长,深度学习的推进也受到了一定的阻碍。” Hunter团队撰写了新的软件和算法,以优化跨多个服务器的GPU之间的通信。该团队使用该算法在7小时内从ImageNet-22k数据集中的750万张图像上训练图像识别神经网络。IBM表示,这是在图像数据集上训练神经网络的新速度记录。 Hunter说,在深度学习项目中加快训练时间是至关重要的。与当今几乎所有其他计算领域不同,深度学习模式的培训可能需要几天时间,这可能会阻碍更多的普通用户的使用。Hunter表示,减少深度学习模式的培训时间势在必行。 IBM正在推出PowerAI软件的新功能,这是一个深度学习平台,将流行的开源机器学习软件(包括CaffeTorchTensorflow)整合在一起。PowerAI可以在IBMPower Systems系列服务器上使用。 但据Forrester分析师Mike Gualtieri说,要注意这个消息的主要原因是GPU优化软件可能会给现有工具带来新的功能,比如Watson Watson目前拥有API连接器,用户可以在特定领域进行深度学习,包括翻译、语音、文本和语音。通过开放Watson开放源代码深度学习平台,它在回答自然语言查询方面的优势可以应用于更深层次的问题。

作者

Ed Burns
Ed Burns

TechTarget网站编辑,重点关注商务智能、数据分析和数据可视化技术。

翻译

乔俊婧
乔俊婧

关注商务智能及虚拟化领域技术发展,专注网站内容策划、组稿和编辑, 负责《数据价值》电子杂志的策划和撰稿。喜欢桌游,热爱音乐,吃货一枚。

相关推荐