(教程)如何使用claude的计算机使用功能（computer use），claude的工具使用教程

这次Claude的更新，主要炸裂的功能是：计算机使用！ 可以关注一下，Claude的工具使用。

Claude中的工具使用，也称为函数调用，是指通过定义和调用外部工具或函数来扩展Claude的能力。我们可以让 Claude 访问一组预定义的工具，它可以随时调用这些工具。工具使我们能够编写可以执行Claude无法执行的特定任务或计算的代码。简而言之：工具的使用是增强Claude功能的一种方式。

《计算机使用》功能在 API 上可用，开发人员可以指导 Claude 像人们一样使用计算机 - 通过查看屏幕、移动光标、单击按钮和输入文本。

怎么使用计算机操作功能？

需要自己申请Claude API，另外API需要你有账户余额，你可以通过下方的方式，解决Claude3.5升级和API的充值：

最新claude pro 订阅教程使用支付宝订阅升级开通Claude Pro教程

也可以直接申请一张虚拟卡解决：https://bewildcard.com/i/UPGPT

另外需要用到Claude的工具，以下是如何使用消息 API 向 Claude 提供计算机使用工具的示例：

import anthropic

client = anthropic.Anthropic()

response = client.beta.messages.create(
    model="claude-3-5-sonnet-20241022",
    max_tokens=1024,
    tools=[
        {
          "type": "computer_20241022",
          "name": "computer",
          "display_width_px": 1024,
          "display_height_px": 768,
          "display_number": 1,
        },
        {
          "type": "text_editor_20241022",
          "name": "str_replace_editor"
        },
        {
          "type": "bash_20241022",
          "name": "bash"
        }
    ],
    messages=[{"role": "user", "content": "Save a picture of a cat to my desktop."}],
    betas=["computer-use-2024-10-22"],
)
print(response)

Claude的工具使用的原理：

让我们将注意力转向工具的实际使用方式。 预先了解的最重要的一点是，Claude 本身并不运行任何代码。我们告诉 Claude 它可以要求我们调用一组工具，然后我们的工作就是实际运行底层工具代码并将结果告诉 Claude。

Claude 无权访问任何内置服务器端工具。所有工具都必须由您（用户）在每个 API 请求中明确提供。这意味着您可以定义可用的工具，并具有清晰的描述和输入模式，并实现和执行工具逻辑，例如运行特定函数或根据 Claude 的请求查询 API。这使您可以完全控制和灵活地控制 Claude 可以使用的工具。

按照以下步骤将外部工具与 Claude 集成：

（1）为Claude提供工具和用户提示:

• 在 API 请求中使用名称、描述和输入架构定义工具。
• 包括可能需要这些工具的用户提示，例如“旧金山的天气怎么样？”

（2）Claude决定使用一个工具:

• Claude评估是否有任何工具可以帮助解决用户的查询。
• 如果是，Claude将构造一个格式正确的工具使用请求。
• API 响应具有tool_use的stop_reason ，表明 Claude 的意图。

（3）提取工具输入、运行代码并返回结果：

• 最后，从 Claude 的请求中提取工具名称和输入。
• 在客户端执行实际的工具代码。
• 使用包含tool_result内容块的新user消息继续对话。

（4）Claude使用工具结果来制定响应：

• Claude分析工具结果，以制定对原始用户提示的最终响应。

步骤 3 和 4 是可选的。对于某些工作流程，Claude 的工具使用请求（步骤 2）可能就是您所需要的，而无需将结果发送回 Claude。

Anthropic官方给出的《工具使用课程》：https://github.com/anthropics/courses/tree/master/tool_use

Anthropic官方给出的模型的基准对比：

新版的Claude3.5 sonnet已经全量推送。

升级版 Claude 3.5 Sonnet和新型号Claude 3.5 Haiku 。升级后的 Claude 3.5 Sonnet 对其前身进行了全面改进，尤其是在编码方面取得了显着的进步，而在该领域它已经处于领先地位。在与上一代 Haiku 相同的成本和相似的速度的许多评估中，Claude 3.5 Haiku 的性能与我们之前最大的模型 Claude 3 Opus 的性能相匹配。（另外，Haiku 将于本月晚些时候发布）

Claude 3.5 Sonnet 是第一个在公开测试版中提供计算机使用的前沿人工智能模型。在这个阶段，它仍然处于实验阶段——有时很麻烦而且容易出错。

Anthropic官方将提前发布计算机使用功能以征求开发人员的反馈，并预计该功能会随着时间的推移而迅速提高。

Claude 这次更新，AI➕工具（RPA）对传统RPA的变化，未来可期。