工业智能领域的运算模型创新降低能耗是根本之本

工业智能领域的深度学习模型越具创新性，其规模就越大。GPT-3是今年最热门的自主语言处理模型的一个很好的例子。要达到像人类一样写作的准确性和速度水平，该模型需要1750亿个参数，350GB内存和至少1200万美元的投资。但除成本外，这种大型人工智能模型还面临着巨大的能耗问题。

马萨诸塞大学阿默斯特分校的研究人员发现，训练一个大型人工智能模型所需的计算能力可以产生超过60万磅的二氧化碳排放——这是一辆普通汽车使用寿命的5倍！这些模型通常需要更多的能量来处理和生成设置(或称为推理阶段)。据英伟达估计，80-90%的运行神经网络模型来自推理过程，而非训练过程。

为了在人工智能领域取得更大的进得更大的进步，我们必须做出巨大的环境权衡。但事实并非如此。大型模型可以缩小到在日常工作站或服务器上运行，而不需要牺牲准确性和速度。

过去:平均计算能力每3.4个月翻一番。

十多年前，斯坦福大学(StanfordUniversity)的研究人员发现，用于驱动视频游戏中的图形处理器(称为Gpu)可以用于深度学习模型。这个发现引发了一个竞争，比如为深度学习应用创建越来越强大的特殊硬件。相反，科学家创建的模型越来越大。逻辑上，更大的模型会导致更准确的结果。硬件功能越强大，这些模型的运行速度就越快。

OpenAI的研究证明，这种假设已经在这个领域得到了广泛的应用。从2012年到2018年，深度学习模型的计算能力平均每3.4个月翻一番。因此，这意味着人工智能的计算能力在6年内增加了30万倍。例如，这种能力不仅用于培训算法，也用于生成设置。麻省理工学院(MIT)最近的一项研究表明，我们可能比想象中更快地达到计算能力的上限。

更重要的是，资源的限制使得深度学习算法的使用仅限于那些有能力使用它的人。当深度学习可以应用于从医学成像检测癌细胞到阻止在线仇恨言论的所有领域时，我们不能限制访问。然而，我们无法承受建立更大、更耗电模型带来的环境后果。

未来:越来越小。

幸运的是，研究人员发现了一些新的方法来缩小深度学习模型，并通过更智能的算法改变训练数据集的应用。这样，大型模型就可以在生产环境中以较低的能耗运行，而且还可以根据用例达到预期的效果。

这些技术可能会使机器学习普及，为更多没有数百万美元投资培训算法并投入生产的组织服务。这对边缘用例尤为重要。想想相机、汽车仪表盘、智能手机等微型设备。在这些用例中，大型专用AI硬件在物理上不实用。

研究者们正在通过删除神经网络中不必要的连接，或者通过简化数学操作来缩小模型。这类小型快速模型可在任何地方运行，其精度和性能与大型模型相似。也就是说，我们不再需要争相使用最强的计算能力，从而对环境造成更大的破坏。使大型模型变得更小，更有效率是深度学习的未来。

另外一个主要问题是针对不同的用例，在新的数据集中一遍又一遍地训练大型模型。一个叫迁移学习的技术可以帮助预防这个问题。迁移学习以预先训练的模型为起点。模型知识可以通过有限的数据集转移到新的任务，而不需要从零开始重新训练原模型。这是降低新模型训练所需的计算能力、能源和资金的关键一步。

降低模型尺寸和相关计算能力将是重大突破？

模型可以在任何可能的情况下缩小，以减少计算能力的使用。知识可以回收再利用，而不是从零开始深入学习的训练过程。最后，找到降低模型尺寸和相关计算能力的方法(在不牺牲性能或精度的情况下)将是深度学习的下一个重大突破。这样，任何人都可以以更低的成本在生产中运行这些应用，而不需要在环境中做出巨大的牺牲。当我们把大型人工智能放在小地方时，一切都是可能的，甚至有助于阻止气候变化的毁灭性影响。

成都融和实业排队叫号系统厂家(www.iritqq.com)是一家集研发、生产、营销、服务于一体的高新技术企业.主营智能排队叫号系统、医院分诊系统、排队机、叫号机、评价器(好差评系统)、呼叫器、多媒体查询及信息发布配套系统等,公司产品已广泛应用于不动产登记、智慧医疗、智慧税务、智慧政务、智慧金融、智慧通讯、智慧服务大厅、智慧机关单位等服务窗口行业.咨询电话：028-87438905。