Anthropic 发布Claude 3.5 Haiku 以及一项炸裂的新功能 AI可以模仿人类访问电脑

Anthropic 宣布推出改进版的 Claude 3.5 Sonnet、全新的 Claude 3.5 Haiku，以及一项名为“computer use 模拟计算机使用”的新功能。

也就是Claude 能够模仿人类的方式使用电脑，它可以自主查看屏幕、移动光标、点击按钮、输入文本等。 还能够自动化执行多个步骤的复杂任务，如填写在线表格、搜索数据、提交报告等，从而大幅减少人工操作时间。

Claude 3.5能够在计算机界面上导航，通过切换窗口、打开菜单、选择选项等操作，完成多步骤的任务。

开发者可以利用这项功能自动化重复任务、开发和测试软件、进行开放式任务（如研究），甚至在复杂的应用场景中进行交互。

模拟人类的电脑交互

• 屏幕查看：AI能够“查看”计算机屏幕上的内容，识别界面元素，并根据指令进行交互。
• 光标移动：Claude 3.5能够模拟光标移动，准确定位目标区域，模仿人类在界面上的操作。
• 点击按钮：模拟鼠标点击，执行界面上的按钮操作，推动任务的进一步完成。
• 输入文本：AI可以在文本框中输入数据，支持表单填写、文档编辑等任务。

自动化复杂的多步骤任务

• 任务自动化：AI可自动执行多个步骤的复杂任务，如填写在线表格、数据检索、提交报告等，减少人工操作时间。
• 多步骤导航：能够在计算机界面上导航，通过切换窗口、打开菜单、选择选项等完成多步骤任务。

指令翻译与执行

• 指令翻译：开发者可以给AI发出高层次的指令，例如“用电脑上的数据填写表格”，Claude 3.5能够将这些指令翻译成具体的电脑操作步骤。
• 基于UI的工作流：不仅可执行单步操作，还可在用户界面中基于任务要求实现多步骤的工作流。

Claude 3.5 Sonnet改进

• • 该版本在多项行业基准测试中表现优异，尤其在编程和工具使用任务上有显著提升。
  • 在编程测试（SWE-bench Verified）中表现提高到49%，在零售领域的工具使用测试（TAU-bench）中提升至69.2%，航空领域则达到了46%。
  • 新版 Sonnet 与其前代版本保持相同的价格和速度，并在多步开发过程中提高了推理和编程能力。

更强的编程能力

• 显著提升编程任务性能：
  • Claude 3.5 Sonnet 在 SWE-bench Verified 编程测试中的得分从 33.4% 提高到 49.0%，表现优于所有其他公开可用的模型（包括 OpenAI 的 o1-preview 和专用的编程模型）。
• 更好的推理与工具使用：
  • 在零售领域的 TAU-bench 工具使用测试中得分从 62.6% 提升到 69.2%；在航空领域的挑战性更大的测试中，从 36.0% 提升到 46.0%。
• 改进的多步任务处理：
  • 新版 Sonnet 在 DevSecOps（开发与安全操作）任务中表现更优，有高达 10% 的推理能力提升，且保持与前代相同的响应速度。

广泛适用的开发环境

• 高效编程：
  • Claude 3.5 Sonnet 在多步软件开发过程中表现更优，对 AI 代理、工具使用和自动化任务等应用更具优势。
• 企业合作测试：
  • 经过美国和英国 AI 安全研究所的联合预部署测试，确保在关键场景下的性能稳定性与安全性。
• 用于 DevSecOps 和自主 AI 评估：
  • 例如，GitLab 在测试中发现该模型在 DevSecOps 任务上推理更准确，Cognition 公司则利用其在编码、规划和问题解决方面的提升，用于自动 AI 评估。

Claude 3.5 Haiku发布

Claude 3.5 Haiku 是速度最快的新一代模型，在多项测试中超越了上一代的 Claude 3 Opus，同时保持了低延迟和高指令跟随能力。该模型适用于用户界面任务、个性化体验生成等需求。

• Claude 3.5 Haiku 是目前速度最快的模型，同时在多项智能基准测试中表现超越了 Claude 3 Opus。
• 在编程测试（SWE-bench Verified）中，Claude 3.5 Haiku 的得分为 40.6%，超过许多其他先进模型（如原版 Claude 3.5 Sonnet 和 GPT-4o）。
• 该模型在低延迟、跟随指令的准确性以及工具使用的精确度方面都有显著提升。
• 特别适用于用户界面任务、个性化体验生成和大规模数据处理（如购买记录、定价或库存记录）。

主要功能与优势

• • 高速度与低延迟： 该模型在响应速度上更快，保持高效的指令跟随能力，适合各种实时应用场景。
  • 指令跟随的改进： 能够准确理解和执行复杂任务，包括编程、工具使用等，这使得它在多步骤任务中的表现尤为出色。
  • 适合多场景的应用： 无论是用于专门的子代理任务、用户界面任务，还是需要处理大量个性化数据的场景，Claude 3.5 Haiku 都表现出色。

Claude 3.5 Haiku 将在本月晚些时候上线，用户可以通过 Anthropic 的 API、Amazon Bedrock 和 Google Cloud 的 Vertex AI 访问该模型。

初期版本将仅支持文本输入，未来会加入图像输入功能，进一步扩展其应用范围。