机器学习训练成本高部分模型仅电费就要百万美元

发布时间：2020-07-03 发布者：亚时财经

机器学习是一门多领域交叉学科，涵盖多门学科知识，让计算机模拟人类行为并尝试得到新的知识或提高学习效率。其热度逐年递增，许多研究机构或企业都投身其中，试图让之为人类社会做出贡献。但随着需求的不断提升，其相关模型的训练成本也在不断增加，一些大型模型进行一轮训练甚至单电费就要上百万美元。

（图源：网络）

在计算工业行业，有个假设是“数字处理会变得越来越便宜”。但斯坦福人工智能研究所副所长克里斯托弗·曼宁表示，对于现有的一些应用来说却不是这样，特别是因为不断增加的研究复杂性和竞争性，使得最前沿模型的训练成本还在不断上升。

以谷歌在18年提出的AI语言模型BERT为例，该模型有超过3.5亿个内部参数，而且要大量数据来进行训练，大概用了33亿个大部分来自维基百科的单词来训练。曼宁称，维基百科都已经不算很大的训练集了，但更多的数据也意味着要用更多算力进行支持。

OpenAI也表示，随着对机器学习兴趣的不断增加，对算力的需求从2012年开始也急剧增加了。到了2018年，用于训练大型模型的计算机算力相比之前已增长了30万倍，并且还每三个半月翻一番。OpenAI还提到，旗下某模型已经用数千块芯片训练了十多个月。这段时间的开销难以想象。

另外，马萨诸塞州阿默斯特大学的研究人员在19年发表的一篇论文中估计，训练某个版本的Transformer模型可能就要花费300万美金。Facebook的AI负责人杰罗姆·佩森蒂也表示，针对当前最大的模型进行一轮训练光是电费可能就好几百万美金。

这样的经济压力不是一般公司能够负担的，所以著名风险投资公司Andreessen Horowitz指出，许多AI初创公司都是从云计算公司（如亚马逊和微软）来租用训练所需的算力。这样带来的开销费用会降低AI初创公司的投资吸引力。

至于改进，在硬件方面，计算机的发展要能够兼容现在机器学习的方式。Graphcore的创始人之一奈杰尔·图恩表示，计算机体系结构需要适应现在训练处理数据的方式，即将运算切分为很多小块同时进行运算。另一创始人安德鲁·费尔德曼说，还要对模型进行优化，减少乘零操作的次数，从而可以减少运行时间，节约成本。

除此之外，研究人员还在思考一些别的途径来改变这一状况，其中一种就是借助量子计算来帮助机器学习中的计算过程提速。另一种是从生物学方面出发，试图研究出一种类似神经形态的芯片来模仿生物大脑神经元电行为。英特尔和IBM等公司正在研究这种新芯片。

代码方面相比之下到显得没那么迫在眉睫，一些大公司也会开源自己的机器学习代码。例如亚马逊旗下公司Amazon Web Services Inc.近日宣布面向大众推出机器学习支持的开发人员工具Amazon CodeGuru，为提高代码质量和确定应用程序中最昂贵的代码行提供智能建议。

不过目前来看，这些新方法还有较长一段路要走，研究人员暂时还得考虑怎么让手头的机器运行得更“划算”。

责任编辑：Carrick

特别声明：本站转载或引用之图文若侵犯了您的合法权益，请与本站联系，本站将及时更正、删除。版权问题及网站合作，请通过亚时财经邮箱联系：asiatimescn@sina.com

返回列表

热门话题更多>>