2024年10月3日，知名半导体分析机构SemiAnalysis发布了一篇名为《AI Neocloud Playbook and Anatomy》的GPU云技术的深度报告，翻译后全文共2.6万字。这篇报告全面分析了AI算力云（Neocloud）的构建、经济模式、市场趋势，以及未来展望，重点探讨了H100 GPU租赁价格下降、即将推出的Blackwell GPU的影响，并提供了优化BoM、网络架构、成本控制、以及提升可靠性和用户体验的实践建议。
集群架构
报告指出，AI算力云的兴起标志着全球算力需求的快速增长，尤其是GPU算力的租赁服务成为推动大模型训练的重要支持。AI算力云市场正逐步分化为四类主要玩家：传统云服务商、AI算力云巨头、新兴算力云以及经纪人/平台类服务商，各自服务不同的客户群体，满足大模型训练和推理等不同需求。
传统的超大规模云服务商如Google Cloud、Microsoft Azure等占据了重要地位，凭借其全方位的云计算生态系统，向大型企业和AI实验室提供高成本、高性能的GPU服务。而AI算力云巨头如Coreweave、Lambda Labs等，专注于GPU租赁服务，通过灵活的定价和大规模部署满足市场对大模型训练和推理的需求。新兴AI算力云服务商则主要面向区域性市场和较小的AI初创企业，为他们提供价格更具竞争力的算力解决方案。算力经纪人和平台聚合商通过平台模式或市场模式，将算力资源进行聚合和分配，帮助客户以更低的价格获取所需的GPU算力资源。
AI算力云的需求主要由AI初创企业和大型AI实验室推动，这些机构需要强大的GPU算力来支持大规模的AI模型训练和推理任务。大模型的预训练和微调需要数千甚至数万个GPU的集群支持，因此成为了推动GPU需求增长的核心动力。尤其是随着大语言模型和其他AI模型的规模不断扩大，这些企业必须依赖AI算力云来快速获取足够的GPU资源，以完成复杂的训练任务。
在市场需求方面，AI算力云的客户群体涵盖了不同规模和需求的AI企业。从大型AI初创公司到中小型AI企业，他们在模型训练阶段需要巨大的算力投入。例如，报告中提到的OpenAI和Inflection AI等大型企业，通常与AI算力云服务商签订长期合作协议，在多个站点部署数万块GPU，以支持其大模型的训练。这些企业的需求推动了AI算力云巨头如Coreweave和Crusoe等服务商的崛起，他们通过提供大规模的GPU集群，满足这些客户对高性能计算的需求。
此外，新兴的AI初创企业虽然需求较小，但依然需要通过AI算力云获取高效的训练资源。由于这些企业往往缺乏资金和技术能力自建基础设施，因此他们更依赖AI算力云服务来灵活满足训练需求。新兴的AI算力云服务商专注于为这些中小型企业提供按需租赁和短期合同的算力支持，帮助他们完成模型的训练和微调。
在推理阶段，AI模型需要在实际应用场景中实时运行，进一步加大了对GPU资源的需求。尤其是大模型推理过程中，对算力的要求虽然相较训练任务有所降低，但仍需要强大的GPU集群支持，以确保低延迟和高效响应。因此，AI算力云服务商不仅在模型训练阶段提供算力支持，还在推理阶段为企业提供高可用的GPU资源。
大模型推理过程
报告分析关注了市场需求、采购流程、定价策略、价格趋势以及总拥有成本（TCO）。特别强调了H100 GPU租赁价格的下降，以及与即将推出的Blackwell GPU相关的定价预期。报告指出，GPU租赁定价分为按需、现货和长期合同三种模式。按需租赁提供最大灵活性，但价格较高，通常用于开发和推理任务。合同订阅则适合长期、大规模的训练任务，并提供更具竞争力的价格。最近，由于H100 GPU的供应增长，租赁价格出现了明显下降，尤其是在按需市场，价格下降了20-30%。这一变化反映出市场上闲置GPU资源的增多，同时也预示着GPU租赁市场的激烈竞争。随着Blackwell GPU的推出，市场对H100的需求有可能发生进一步变化，企业更倾向于签订短期合同，以应对未来技术升级带来的影响。
总体来看，AI算力云需求的驱动来自于AI大模型的持续发展和企业对高效算力资源的迫切需求。展望未来，AI算力云的市场规模将继续扩大，特别是随着更强大的GPU产品如Blackwell的发布，市场的竞争将更加激烈。
热门专题
