RH
RouterHub AI API 中转站导航与平台推荐
博客

Inkling 2 Small 的工具边界

它把视觉、工具调用和可调推理放进 1M 上下文,但音频输入仍不支持,接入时还要区分两个渲染协议。

muchacha 2026-11-17 02:26:05

正文

先看结论

Inkling 2 Small 这次值得开发者关注的变化,不是又多了一个聊天模型,而是把文本、图片、工具调用和可调推理放进了同一条开发链路。Thinking Machines Lab 的官方说明把它作为第二代 Inkling 模型发布,Cloudflare 随后在 Workers AI 提供了模型 ID @cf/thinkingmachines/inkling-2-small。在 Cloudflare 托管入口中,它支持文本和图片输入、文本输出、函数调用、流式响应以及最高 1,048,576 个 token 的上下文;在 Tinker 路径中,开发者还可以使用 Inkling 专用的 tml_v0 renderer 和 effort 接口。

这意味着,长代码库问答、带截图的故障定位、需要调用内部工具的代理,都可以用同一个模型入口组合起来。但“多模态”和“工具调用”不等于所有输入输出都已经统一:官方模型卡明确写出 Inkling 2 Small 不支持音频,Tinker 文档要求图片经过本地 renderer 编码,不能把远程图片 URL 直接塞进消息。接入前先选定运行时,再按该运行时的协议构造消息,比单纯替换模型名更重要。你可以先从平台目录确认可用的调用入口;如果已有 Worker 搜索工具,也可以参考Workers AI 搜索 Worker 的接入方式。

这次具体增加了什么

Thinking Machines Lab 在 2026 年 11 月 5 日的官方发布页介绍了 Inkling 2 Small,并在 11 月 16 日更新了页面内容。发布说明把它定位为面向代码、推理和工具使用的开放权重模型,同时保留了图像输入能力。官方模型卡进一步说明了模型的预期用途、训练和安全边界。这里有一个需要先说清楚的事实:Inkling 2 Small 的输入是文本和图片,输出是文本;它不是一个音频模型。官方发布页的限制部分明确写出该模型不支持音频,Tinker 的官方 cookbook 也把它和支持音频的 Inkling、Inkling-Small 区分开来。

Cloudflare 的模型文档把这项能力转换成了可直接调用的服务接口。模型 ID 是 @cf/thinkingmachines/inkling-2-small,文档列出的能力标签包括 Function calling、Reasoning、Vision 和 Zero data retention。上下文窗口为 1,048,576 token,推理档位可以在 none、minimal、low、medium、high 和 max 之间选择,默认值是 high。这几个字段不是文章标题上的宣传词,而是影响请求和验收的具体配置:图片能否进入消息、工具能否由模型选择、推理预算如何控制,以及长输入是否会在应用层先被截断。

Cloudflare 文档还给出了 Workers AI 绑定和 HTTP API 的示例。最小的 Worker 调用可以写成:

export interface Env {
  AI: Ai;
}

export default {
  async fetch(request, env): Promise<Response> {
    const messages = [
      { role: "system", content: "You are a coding assistant" },
      { role: "user", content: "Explain this build error" },
    ];

    const response = await env.AI.run(
      "@cf/thinkingmachines/inkling-2-small",
      { messages },
    );

    return Response.json(response);
  },
} satisfies ExportedHandler<Env>;

需要流式输出时,把请求选项改成 { messages, stream: true },并把返回的流作为 text/event-stream 响应。这里的关键不是把示例复制到生产环境,而是确认你的 Worker 使用的是绑定调用还是 OpenAI 兼容的 /v1/chat/completions 入口。两条路径都能调用模型,但消息格式、认证位置、流处理和工具结果回传应分别按文档验证。Cloudflare 文档还标明该模型不属于标准 Workers Free billing 可用范围,部署前需要先确认账号的访问条件。

图片、长上下文和工具要一起验收

模型支持图片输入,改变的是代理的观察方式,不是自动改变了应用的状态管理。一个代码代理可以把错误日志、配置文件片段和终端截图放进同一个用户回合,让模型先判断问题位于代码、环境还是界面操作。但图片仍然是输入内容,开发者仍需决定哪些文件可以读取、图片是否包含凭据、上下文是否需要持久化,以及工具调用前是否要再次确认权限。

长上下文也不能简单理解为“可以把整个仓库一次性发过去”。1,048,576 token 是模型文档列出的上下文窗口,不等于应用拥有无限的输入预算。实际接入时仍然要做文件筛选、重复内容压缩、目录摘要和工具结果裁剪。尤其是工具调用会把 schema、参数、返回结果和后续对话一起放进上下文;如果把每次搜索结果原样追加,模型可能在还没有完成任务前就被历史输出占满。合理的做法是给工具返回定义稳定的字段,只保留能支持下一步决策的内容,并把完整原文放到可按需读取的存储中。

函数调用同样需要应用侧实现完整闭环。模型可以生成工具名和参数,但不会替应用执行数据库查询、代码检查、文件写入或部署动作。应用要校验工具名、按 JSON Schema 校验参数、检查租户和路径权限,再把结构化结果回传给模型。对于写操作,建议把“模型提出动作”和“应用真正执行”拆成两个阶段:先生成计划,再由策略层确认;对删除、发布、改密钥等不可逆动作,不要因为模型返回了合法参数就直接执行。

这也是为什么模型文档中的 Function calling 标签不能被当成完整的 Agent 框架。它只说明模型和接口支持工具调用协议。队列、超时、重试、幂等键、审计日志、用户确认和失败恢复仍然属于你的应用。需要把搜索能力放进 Worker 时,可以把模型请求、搜索工具和结果清洗分成独立模块,再通过统一的工具描述交给模型;不要让模型直接接触包含凭据的原始响应。

Workers AI 路径的接入顺序

如果目标是先把模型接入现有 Worker,建议按下面的顺序验证:

  1. 先用纯文本、非流式请求确认模型 ID、认证和响应结构都正确。
  2. 再打开 stream: true,检查客户端是否按 SSE 增量消费,而不是把流当成一次性 JSON。
  3. 使用一张不含密钥的测试图片验证视觉消息格式,记录图片大小、编码方式和请求失败时的错误体。
  4. 加入一个只读工具,先验证模型生成的名称和参数,再验证应用把工具结果作为下一轮消息回传。
  5. 最后才把 reasoning_effort 从默认值调到其他档位,并重新设定输出上限和超时。

推理档位需要和产品目标绑定。低档位适合需要快速分类、路由或抽取的请求;高档位可能更适合多步代码分析,但会增加输出预算和等待路径。这里不能把某个档位写成普遍最佳实践,因为模型文档只定义了可用枚举和默认值,并没有替你的业务决定质量、时间或上下文策略。应用应该把它作为可观测配置记录下来,同时记录输入类型、工具数量、输出是否截断和最终状态。

另一个容易漏掉的点是兼容入口。OpenAI 兼容接口可以降低已有客户端的改造量,但“兼容”不代表所有供应商特性都能原样透传。正式接入前至少测试 messages、图片内容、tools、tool_choice、reasoning_effort、流式事件和错误结构。若客户端只支持普通文本增量,而没有处理工具调用增量,就算模型端已经产生了工具请求,应用也可能把它误当成普通文本展示给用户。

Tinker 路径不是换一个模型名

Thinking Machines Lab 的官方 tinker-cookbook 对 Inkling 给出了更严格的接入约束。所有 Inkling 模型都使用 tml_v0 renderer 和对应的 tokenizer,但 tokenizer 仍然要根据模型名取得;开发者不能把一个模型的 tokenizer、renderer 或已经渲染过的数据集直接复用到另一个模型。官方示例推荐先通过 model_info.get_recommended_renderer_name(model_name) 选择 renderer,再调用 get_tokenizer(model_name)。

这条约束的实际影响是:不要用普通 Hugging Face chat template 或裸 tokenizer.encode() 拼接训练样本。官方 cookbook 明确提醒,Inkling tokenizer adapter 没有可直接复用的 chat template,原始编码会生成偏离训练分布的 token。对于采样、评估和后训练,都应该让 TmlV0Renderer 负责消息渲染,并显式传入 thinking effort。renderer 会把 effort 转换成模型训练时使用的系统消息;应用不应自己再拼一份同名系统消息,否则可能出现重复条件。

Tinker 的 effort 接口和 Cloudflare 的 reasoning_effort 枚举不是同一个表面协议。官方 cookbook 把 effort 表示为 [0.0,1.0) 范围内的连续值,OpenAI 兼容接口则提供命名档位或原始浮点值。无论使用哪条路径,都要把 effort 作为训练和推理的一部分记录下来。训练数据用一个 effort 渲染,线上采样却使用另一个 effort,会让评估结果和部署行为产生难以解释的差异。

图片输入也有运行时边界。Tinker 官方文档要求通过 renderer 处理图片,输入可以是原始字节、本地路径或 base64 data: URI,但 renderer 会拒绝远程 URL。Inkling 2 Small 不接受音频;如果业务同时包含语音和图片,不能只把模型名从 Inkling 改成 Inkling-2-Small,而应在输入路由层先区分媒体类型。对于生成被截断的结构化输出,官方 cookbook 建议先检查 max_tokens,因为高 effort 往往需要更大的生成预算;解析失败时再按 renderer 返回的终止状态或 parse error 进入重试和纠错流程。

适合什么,不适合什么

这次发布适合三类明确场景。第一类是带图像证据的代码或运维诊断,例如把终端截图、错误日志和配置片段交给同一个代理,再由只读工具查询版本和文档。第二类是长上下文代码分析,但前提是应用已经有文件筛选和上下文压缩,而不是把整台机器的内容无差别上传。第三类是需要在推理和工具之间切换的任务,例如先判断失败原因,再调用测试工具或查询构建记录。

官方发布页也给出了不能忽略的限制:模型并不总是简洁表达,面对拥有大量 skills 的代码库时不一定选择最合适的工具,而且不支持音频。对开发者来说,这些限制会直接转化成验收用例。不要只测试“能否回答一个问题”,还要测试工具选择错误时应用能否拒绝、图片缺失时能否降级、输出被截断时能否恢复、请求包含音频时能否在路由层给出清晰错误。

因此,Inkling 2 Small 的实际变化可以概括为一句话:同一个模型入口同时增加了视觉输入、工具调用和可调推理的组合空间,但没有替应用完成媒体路由、工具治理和输出恢复。Cloudflare 路径适合用模型 ID 快速接入 Worker,Tinker 路径适合需要控制 renderer、effort 和后训练数据的团队;两者都要求开发者把输入边界和工具生命周期写进自己的测试,而不是只改一个字符串就结束升级。

参考来源