4月15日，由李飞飞共同主导的斯坦福HAI研究所发布了《The 2024 AI Index Report》，这也是HAI研究所发布的第七个人工智能指数年度报告，HAI研究所官方介绍称：“2024年指数是我们迄今为止最全面的指数。”今年HAI研究所扩大了研究范围，依托更多的原始数据介绍了对人工智能训练成本的新估算，更广泛地涵盖了人工智能的技术进步、公众对技术的看法等基本趋势，并专门介绍了人工智能对科学和医学的影响。
世界主流AI 大模型训练成本分析
以下是报告的10大热门要点：
1.人工智能在某些任务上超过了人类，但并非所有任务都是如此。
人工智能已经在几个基准测试中超越了人类的表现，包括图像分类、视觉推理和英语理解等领域。然而，在更复杂的任务（如竞赛级别的数学问题、视觉常识推理和规划等）上，人工智能仍然落后。
2.行业继续主导前沿人工智能研究。
在2023年，行业共产出了51个显著的机器学习模型，而学术界仅贡献了15个。同时，2023年还有21个显著的模型是由行业与学术界合作共同完成的，创下了新的纪录。
3.前沿模型的训练成本大幅上升。
根据《AI指数》的估算，最新一代人工智能模型的训练成本已经达到前所未有的水平。例如，OpenAI的GPT-4预计使用了价值7800万美元的计算资源进行训练，而谷歌的Gemini Ultra则耗费了1.91亿美元的计算资源成本。
4.美国领先于中国、欧盟和英国，成为顶尖人工智能模型的主要来源地。
在2023年，美国机构共推出了61个显著的人工智能模型，远远超过了欧盟的21个和中国的15个。
5.对LLM（语言模型）责任的稳健和标准化评估严重缺乏。
AI指数的新研究显示，在负责任的人工智能报告方面存在着严重的标准化缺乏。包括OpenAI、谷歌和Anthropic在内的主要开发者主要针对不同的负责任人工智能基准进行模型测试。这种做法使得系统地比较顶尖人工智能模型的风险和局限性变得更加复杂。
6.生成式人工智能投资激增。
尽管去年整体人工智能私人投资有所下降，但生成式人工智能的资金投入却激增，从2022年增长了近8倍，达到252亿美元。生成式人工智能领域的主要参与者，包括OpenAI、Anthropic、Hugging Face和Inflection等，报告了大规模的筹款轮次。
7.数据显示：人工智能提高了员工的生产力，带来了更高质量的工作。
在2023年，多项研究评估了人工智能对劳动力的影响，表明人工智能使员工能够更快地完成任务，并提高其工作产出的质量。这些研究还展示了人工智能在弥合低技能和高技能工人之间的技能差距方面的潜力。然而，其他研究警告称，如果没有适当的监督，使用人工智能可能会导致绩效下降。
8.由于人工智能的推动，科学进步进一步加速。
在2022年，人工智能开始推动科学发现。然而，2023年见证了更多重要的与科学相关的人工智能应用的推出——从AlphaDev，使算法排序更加高效，到GNoME，促进材料发现过程的进行。
9.美国的人工智能监管数量急剧增加。
美国过去一年和过去五年的人工智能相关监管数量显著增加。2023年，人工智能相关监管数量达到25个，而2016年仅为1个。仅去年一年，人工智能相关监管的总数增长了56.3%。
10.全球各地的人们更加意识到人工智能的潜在影响，也更加紧张。
根据Ipsos的一项调查显示，过去一年中，认为人工智能将在未来三到五年内对其生活产生巨大影响的人比例从60%上升到了66%。此外，52%的人对人工智能产品和服务表示紧张，较2022年增加了13个百分点。在美国，根据皮尤研究中心的数据显示，52%的美国人表示对人工智能感到更加担忧而非兴奋，较2022年的38%有所增加。
日前，Anthropic创始人达里奥·阿莫迪(Dario Amodei)在接受《纽约时报》采访时表示构建更大的模型，每次迭代都需要使用更多计算资源，目前训练一个模型的成本大约为1亿美元，上下浮动两到三倍。Anthropic现在正在训练的模型成本将接近10亿美元。在2025年和2026年，他预计，模型训练成本将更加接近50亿或100亿美元，未来构建大型模型、核心基础模型工程正变得越来越昂贵。
在本篇研究报告中也提到了暴增的大模型训练成本。
在讨论基础模型时，一个突出的话题是它们的推理成本。尽管人工智能公司很少透露训练模型所涉及的费用，但普遍认为这些费用高达数百万美元，并且正在上升。例如，OpenAI的首席执行官Sam Altman提到，GPT-4的培训成本超过1亿美元。这种训练费用的增加有效地将大学、传统人工智能研究中心排除在外，使他们无法开发自己的领先基础模型。为此政策倡议，例如拜登关于人工智能的行政命令，试图通过创建国家人工智能研究资源来消除行业和学术界之间的差距，该资源将为非行业参与者提供进行更高级别的人工智能研究所需的计算和数据。
了解培训人工智能模型的成本非常重要，但关于这些成本的详细信息仍然很少。去年，《AI指数》是首批提供基础模型培训成本估算的机构之一。今年，《AI指数》与Epoch AI（一个人工智能研究机构）合作，大幅增强和巩固了其人工智能培训成本估算的稳健性。为了估计尖端模型的成本，Epoch团队分析了培训持续时间以及培训硬件的类型、数量和利用率，使用了与这些模型相关的出版物、新闻稿或技术报告的信息。
图1.3.21展示了基于云计算租金价格的选择人工智能模型的估计培训成本。《AI指数》的估算结果验证了近年来模型培训成本显著增加的猜测。例如，2017年，原始Transformer模型的培训成本约为900美元。2019年发布的RoBERTa Large模型，在许多经典理解基准测试中取得了最先进的结果，例如SQuAD和GLUE，其培训成本约为16万美元。到2023年，据估计，OpenAI的GPT-4和Google的Gemini Ultra的培训成本分别约为7800万美元和1.91亿美元。
图1.3.22显示了AI Index估计的所有AI模型的训练成本。如图所示，随着时间的推移，模型训练成本急剧增加。
AI Index 估计的所有 AI 模型的训练成本
图1.3.23所示，对计算训练需求更大的模型需要的训练成本更多。
对计算训练需求更大的模型需要的训练成本更多
热门专题
