早起的鸟儿使用的能量少10倍来训练深度神经网络
赖斯大学的“早起的鸟儿”对蠕虫的关心较少。它正在寻找百万吨的温室气体排放量。
Early Bird是一种用于培训深度神经网络(DNN),无人驾驶汽车背后的人工智能(AI)形式,智能助手,面部识别以及许多其他高科技应用的节能方法。
赖斯大学和得克萨斯州农工大学的研究人员于4月29日在国际学习代表大会ICLR 2020上的聚焦论文中宣布了《早起的鸟儿》。赖斯高效和智能计算(EIC)实验室的主要作者尤浩然和李朝建的一项研究表明,“早起的鸟儿”可以将DNN训练到相同的准确性水平或比典型训练更好地节省了10.7倍的能量。EIC实验室的负责人Lin Yingyan以及Rice的Richard Baraniuk和Texas A&M的Zhangyang Wang共同领导了这项研究。
Lin说:“最近AI突破的主要动力是引入更大,更昂贵的DNN。”“但是培训这些DNN需要大量的精力。要揭示更多的创新,必须找到既能解决环境问题又能减少AI研究的财务障碍的'绿色'培训方法。”
培训最先进的DNN不仅成本高昂,而且成本越来越高。西雅图的艾伦人工智能研究所(Allen AI Institute)于2019年进行的一项研究发现,训练顶级深度神经网络所需的计算数量在2012年至2018年期间增加了300,000倍,马萨诸塞州大学阿默斯特分校的研究人员在2019年进行的另一项研究发现了碳训练单个精英DNN的足迹大约等于五辆美国汽车的终身二氧化碳排放量。
DNN包含数百万甚至数十亿个学会执行专门任务的人工神经元。无需任何明确的编程,人造神经元的深层网络就可以通过“研究”大量先前的示例来学习做出类似人的决定,甚至胜过人类专家。例如,如果DNN研究猫和狗的照片,它就会学会识别猫和狗。经过深入研究的棋盘游戏Go深度网络AlphaGo在研究了成千上万的先前玩过的游戏之后,在2015年击败了职业人类玩家。
赖斯布朗工程学院电气与计算机工程助理教授林说:“进行DNN培训的最先进方法被称为渐进式修剪和培训。”“首先,您要训练密集而庞大的网络,然后删除不重要的部分(例如修剪树)。然后再修剪修剪后的网络以恢复性能,因为修剪后性能会下降。实际上,您需要修剪并修剪再培训多次以获得良好的性能。”
修剪是可能的,因为网络中只有一小部分的人工神经元可以潜在地完成专门任务的工作。训练会加强必要神经元之间的联系,并揭示哪些神经元可以被修剪掉。修剪可减少模型大小和计算成本,使部署经过全面训练的DNN更加经济实惠,尤其是在内存和处理能力有限的小型设备上。
林说:“第一步,训练密集,庞大的网络是最昂贵的。”“我们在这项工作中的想法是在这个昂贵的第一步的开始阶段,确定最终的,功能完备的修剪网络,我们将其称为“早鸟票”。
通过在训练的早期阶段寻找关键的网络连接模式,Lin和同事们既可以发现早鸟票的存在,又可以使用它们简化DNN训练。在对各种基准数据集和DNN模型进行的实验中,Lin及其同事发现,“早起的鸟儿”在训练初期可能只出现十分之一或更少的时间。
林说:“我们的方法可以在密集的巨型网络训练的前10%或更少的时间内自动识别早鸟票。”“这意味着您可以训练DNN,以给定任务在大约传统训练所需时间的10%或更少的时间内达到相同或什至更好的精度,这可以在计算和能源上节省多个订单。”
开发使AI更环保的技术是Lin团队的主要重点。关注环境是主要动机,但是林说有很多好处。
她说:“我们的目标是使AI更加环保,更具包容性。”“复杂的AI问题的庞大规模使较小的参与者望而却步。绿色AI可以打开大门,使研究人员可以用笔记本电脑或有限的计算资源来探索AI创新。”
其他合著者包括得克萨斯州A&M公司的徐鹏飞,傅永干和王跃,赖斯和陈小涵。
该研究得到了美国国家科学基金会(1937592,1937588)的支持。
免责声明:本文由用户上传,与本网站立场无关。财经信息仅供读者参考,并不构成投资建议。投资者据此操作,风险自担。 如有侵权请联系删除!
-
亚马逊的气候友好承诺认证(Climate Pledge Friendly),俗称绿标认证,是平台对环保产品的权威认可。获得...浏览全文>>
-
亚马逊气候承诺友好认证(Climate Pledge Friendly)是平台为响应全球减碳趋势推出的战略性计划,旨在通过绿色...浏览全文>>
-
截至2024年,大众探岳GTE的售价可能会因地区、配置和促销活动而有所不同。一般来说,2024款探岳GTE的价格可能...浏览全文>>
-
关于2025款途观L的价格信息,目前还没有官方发布。不过,根据以往的市场规律和车型更新周期,我们可以大致推测...浏览全文>>
-
根据您提供的信息,2024款广东东莞威然的最低售价为22 99万元起。关于具体的落地价,需要考虑以下因素:1 ...浏览全文>>
-
根据您的描述,生活家PHEV 2025款的最低售价为 63 98万元起。如果目前有促销活动或优惠政策,建议尽快咨询...浏览全文>>
-
奔腾T99作为一汽奔腾旗下的旗舰SUV车型,凭借其大气的外观设计、丰富的科技配置以及出色的性能表现,吸引了众...浏览全文>>
-
当然可以!以下是一个简单的试驾预约流程,帮助您轻松开启智蓝G5新能源的试驾之旅:1 确定需求- 车型选择...浏览全文>>
-
特斯拉的赛博越野旅行车(Cybertruck)自发布以来就引发了广泛关注。这款车型结合了皮卡的实用性、SUV的多功能...浏览全文>>
-
江淮悍途EV是一款纯电动皮卡,如果您想预约试驾,通常需要满足以下条件和准备以下信息:1 基本条件 - 年...浏览全文>>
- 山东济南途观L新能源价格大公开,买车不花冤枉钱
- 东莞途岳最新价格2025款全分析,买车不踩坑
- 济南探岳GTE新车报价2024款,换代前的购车良机,不容错过
- 郑州ID.7 VIZZION多少钱 2024款落地价,配置升级,值不值得买?
- 郑州途锐新能源最新价格2024款,优惠购车,最低售价67.98万起
- 瑞虎7 PLUS新车报价2025款,买车前的全方位指南
- 广东东莞揽巡价格走势,市场优惠力度持续加大
- 轩逸新车报价2025款,买车前的全方位指南
- 飞凡R7新车报价2025款,换代前的购车良机,不容错过
- 试驾风光ix5,轻松搞定试驾
- 捷途山海L7预约试驾,从预约到试驾的完美旅程
- 试驾E福顺,从预约到试驾的完美旅程
- 长安星卡EV多少钱?选车指南与落地价全解析
- 凯翼E5 EV多少钱?如何挑选性价比高的车
- 标致408X预约试驾,快速操作,轻松体验驾驶乐趣
- 试驾星际牛魔王,新手必看的操作流程
- 岚图汽车岚图梦想家试驾预约,轻松几步,畅享豪华驾乘
- 影豹多少钱?全方位对比助你选车
- 豪运最新价格2023款,豪华配置超值价来袭
- 缤智多少钱 2025款落地价全解买车必看