早起的鸟儿使用的能量少10倍来训练深度神经网络

赖斯大学的“早起的鸟儿”对蠕虫的关心较少。它正在寻找百万吨的温室气体排放量。

Early Bird是一种用于培训深度神经网络(DNN)，无人驾驶汽车背后的人工智能(AI)形式，智能助手，面部识别以及许多其他高科技应用的节能方法。

赖斯大学和得克萨斯州农工大学的研究人员于4月29日在国际学习代表大会ICLR 2020上的聚焦论文中宣布了《早起的鸟儿》。赖斯高效和智能计算(EIC)实验室的主要作者尤浩然和李朝建的一项研究表明，“早起的鸟儿”可以将DNN训练到相同的准确性水平或比典型训练更好地节省了10.7倍的能量。EIC实验室的负责人Lin Yingyan以及Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同领导了这项研究。

Lin说：“最近AI突破的主要动力是引入更大，更昂贵的DNN。”“但是培训这些DNN需要大量的精力。要揭示更多的创新，必须找到既能解决环境问题又能减少AI研究的财务障碍的'绿色'培训方法。”

培训最先进的DNN不仅成本高昂，而且成本越来越高。西雅图的艾伦人工智能研究所(Allen AI Institute)于2019年进行的一项研究发现，训练顶级深度神经网络所需的计算数量在2012年至2018年期间增加了300,000倍，马萨诸塞州大学阿默斯特分校的研究人员在2019年进行的另一项研究发现了碳训练单个精英DNN的足迹大约等于五辆美国汽车的终身二氧化碳排放量。

DNN包含数百万甚至数十亿个学会执行专门任务的人工神经元。无需任何明确的编程，人造神经元的深层网络就可以通过“研究”大量先前的示例来学习做出类似人的决定，甚至胜过人类专家。例如，如果DNN研究猫和狗的照片，它就会学会识别猫和狗。经过深入研究的棋盘游戏Go深度网络AlphaGo在研究了成千上万的先前玩过的游戏之后，在2015年击败了职业人类玩家。

赖斯布朗工程学院电气与计算机工程助理教授林说：“进行DNN培训的最先进方法被称为渐进式修剪和培训。”“首先，您要训练密集而庞大的网络，然后删除不重要的部分(例如修剪树)。然后再修剪修剪后的网络以恢复性能，因为修剪后性能会下降。实际上，您需要修剪并修剪再培训多次以获得良好的性能。”

修剪是可能的，因为网络中只有一小部分的人工神经元可以潜在地完成专门任务的工作。训练会加强必要神经元之间的联系，并揭示哪些神经元可以被修剪掉。修剪可减少模型大小和计算成本，使部署经过全面训练的DNN更加经济实惠，尤其是在内存和处理能力有限的小型设备上。

林说：“第一步，训练密集，庞大的网络是最昂贵的。”“我们在这项工作中的想法是在这个昂贵的第一步的开始阶段，确定最终的，功能完备的修剪网络，我们将其称为“早鸟票”。

通过在训练的早期阶段寻找关键的网络连接模式，Lin和同事们既可以发现早鸟票的存在，又可以使用它们简化DNN训练。在对各种基准数据集和DNN模型进行的实验中，Lin及其同事发现，“早起的鸟儿”在训练初期可能只出现十分之一或更少的时间。

林说：“我们的方法可以在密集的巨型网络训练的前10%或更少的时间内自动识别早鸟票。”“这意味着您可以训练DNN，以给定任务在大约传统训练所需时间的10%或更少的时间内达到相同或什至更好的精度，这可以在计算和能源上节省多个订单。”

开发使AI更环保的技术是Lin团队的主要重点。关注环境是主要动机，但是林说有很多好处。

她说：“我们的目标是使AI更加环保，更具包容性。”“复杂的AI问题的庞大规模使较小的参与者望而却步。绿色AI可以打开大门，使研究人员可以用笔记本电脑或有限的计算资源来探索AI创新。”

其他合著者包括得克萨斯州A&M公司的徐鹏飞，傅永干和王跃，赖斯和陈小涵。

该研究得到了美国国家科学基金会(1937592，1937588)的支持。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！