豆包大模型宣称已追平GPT-4，首次披露 300 万长文本能力

字节跳动旗下豆包大模型于今日发布2024年度技术进展报告，透露其最新版本Doubao-pro-1215在综合性能上已经实现与GPT-4的全面对齐，并在部分专业领域表现出更强的能力。这一进展标志着中国大模型技术正式跻身全球第一梯队。

自今年5月首次亮相以来，豆包大模型仅用7个月时间就实现了32%的能力提升。据官方介绍，通过优化海量数据处理和创新模型架构，包括提高模型稀疏度和引入强化学习等技术手段，豆包在理解精度和生成质量方面都取得了显著进步。特别是在数学和专业知识等复杂场景中，其表现甚至超越了GPT-4，而服务价格仅为后者的八分之一。

值得注意的是，豆包首次公开了其300万字的超长文本处理能力，这意味着它能够同时处理相当于”上百篇”学术报告的内容量。通过采用STRING等上下文关联数据算法，以及优化的稀疏化和分布式方案，豆包将百万tokens的处理延迟控制在15秒以内，大幅提升了模型对海量外部知识的处理效率。

这一技术突破不仅展示了中国AI技术的快速发展，也预示着大模型应用的普及可能将因更优的性价比而加速推进。