谷歌在生成 AI 领域的最新尝试引起了广泛关注。经过几个月的平淡表现后，谷歌 Gemini 迅速走上了快车道，推出了新的实验性语言模型 ——Gemini-Exp-1206。根据最新的 ChatArena 排行榜显示，这款模型在众多竞争对手中脱颖而出，成为了生成 AI 的领跑者。
项目入口:https://ai.google.dev/gemini-api/docs/models/experimental-models?hl=zh-cn
Gemini-Exp-1206在 LMArena 上获得了最高的 Arena Score，达到了1379分，略高于 ChatGPT-4.0的1366分。这一得分表明，Gemini-Exp-1206在多项评估中表现出色，展现了其卓越的综合能力。此外，与之前的 Gemini-Exp-1114相比，新模型也显示出更强的性能。
那么，什么是 LMArena 呢?LMArena，也称为 Chatbot Arena，是一个用于评估大型语言模型的开源平台。这个平台由 LMSYS 和加州大学伯克利分校 SkyLab 共同开发，旨在通过实时测试和直接比较，支持社区对 LLM 性能的评估。
在排行榜中，Arena Score 代表了模型在多种任务中的平均表现，分数越高表示能力越强。尽管 GeminiExp-1206的分数高于 ChatGPT-4.0，但在投票数量上，ChatGPT-4.0依然遥遥领先，共获得了21，929票，而 Gemini-Exp-1206则收获了5052票。较高的投票数通常意味着更高的可靠性，因为这表明该模型经过了更广泛的测试。
另外，95% 置信区间的数据显示，Gemini 的 CI 为 ±10/-5，而 ChatGPT 的 CI 为 ±4/-5。这表明 Gemini 的平均得分更高，但 ChatGPT-4.0在性能稳定性方面表现更佳。
值得一提的是，Gemini 实验模型是尖端的原型设计，旨在进行测试和反馈。这些模型为开发者提供了提前体验谷歌最新 AI 进展的机会，同时展示了持续的创新。然而，这些实验模型是临时性的，可能随时更换，并不适合用于生产环境。
如果您想要免费使用 Gemini-Exp-1206，只需前往谷歌 AI Studio，登录后选择创建提示，并在设置中将模型更改为 Gemini Experimental1206，即可开始聊天。
尽管 Gemini-Exp-1206的结果相当引人注目，但仍需记住其实验性质。未来的潜力还需时间来揭示，业界期待着这一强劲竞争者的稳定发布。
