人工智能给人类带来了便利,但其环境可持续性一直备受关注。

去年6月,马萨诸塞州阿默斯特大学的研究人员发布了一份报告,该报告估计,训练和运行神经网络系统所需的电力将产生约62.6万磅(1磅等于0.45千克)的二氧化碳排放。这相当于美国普通汽车在使用寿命内的五倍排放量。

当人工智能模型部署后,碳排放问题将变得更加严重。因为系统需要部署在不同的硬件平台上,每个硬件平台都有不同的属性和计算资源。

为了改变这种情况,麻省理工学院的研究人员开发了一种新的自动化人工智能系统,可以用来训练和运行一些神经网络。结果表明,采用一些关键方法来提高系统的计算效率可以减少碳排放。

研究人员称这个系统为“一劳永逸”的网络,可以训练一个大的神经网络,包括许多不同大小的预训练子模型。每个子模型都可以在推理过程中独立运行,无需重新训练,系统会根据目标硬件的功率和速度折衷相关精度和等待时间来确定最佳子模型。比如智能手机,系统会选择较大的子模型,但其子网结构会根据每个电池的寿命和计算资源而有所不同。据研究人员称,这个系统只需要流行的模型搜索技术的碳排放量的1/1300左右。

"我们的目标是建立一个更小更环保的神经网络."麻省理工学院电子工程和计算机科学系助理教授宋汉说:“到目前为止,寻找一个有效的神经网络架构需要大量的碳足迹。然而,通过新的方法,我们已经将碳排放减少了几个数量级。”

根据宋汉的说法,下周将发表一篇关于这个系统的论文。其他研究人员包括来自eecs、麻省理工学院-ibm沃森人工智能实验室和上海交通大学的四名本科生和研究生。

那么,他们的方法是如何具体减少计算造成的碳排放的呢?研究人员表示,主要原因是他们采用了“渐进收缩”算法,可以有效训练大模型,支持所有子模型。这个算法首先训练大模型,然后借助大模型训练较小的子模型,让它们同时学习。最后,在所有子模型都经过训练后,就可以根据平台的功率和速度限制进行快速专业的计算。添加新设备时,可以支持多种硬件设备,培训成本为零。

在实验中,研究人员发现,用他们的方法训练一个超过10万亿架构设置的计算机视觉模型,比花几个小时训练每个子网要有效得多。此外,该系统不会影响模型的准确性或效率。在imagenet上测试,该模型在移动设备上的准确率最好,推理速度比领先的分类系统快1.5到2.6倍。

ibm研究员、麻省理工学院-ibm沃森人工智能实验室(mit-ibm watson ai Lab)的约翰科恩(John cohn)说:“如果我们想保持人工智能的快速发展,我们需要减少对环境的影响。开发使人工智能模型更小、更高效的方法的优势在于,这些模型可能会表现得更好。”(本文来自《The Paper》,更多原创信息请下载《The Paper》app)新闻推荐

白宫否认考虑更换美国卫生和公众服务部部长

新华社华盛顿4月25日电(记者孙丁、徐)白宫25日发表声明,否认正在考虑更换美国卫生与公众服务部部长阿历克斯·阿扎(Alex Aza)。声明...