2025-01-23 DeepSeek预示算力需求“打骨折”？业界：别只盯着训练 AI行业进入推理时代

日前，深度求索DeepSeek-V3横空出世，在AI行业内引发巨震，关键原因之一就是预训练成本之低——这个参数量高达671B的大模型，在预训练阶段仅使用2048块GPU训练了2个月，且只花费557.6万美元。与此同时，DeepSeek-V3相比其他前沿大模型，性能却足以比肩乃至更优。 在这背后，DeepSeek-V3采用了用于高效推理的多头潜在注意力(MLA)和用于经济训练的DeepSeekMoE。研发团队证明，多Token预测目标(Multi-Token Prediction，MTP)有利于【更多...】