Introducing Kimi K3.1 Pro on Amazon Bedrock

TL;DR · AI 摘要
Kimi K3.1 Pro Highspeed模型在Amazon Bedrock上线,提供更高的生成速度和专业任务优化。
核心要点
- Kimi K3.1 Pro Highspeed生成速度是原版的2-3倍
- 支持金融建模、游戏引擎编码等专业场景
- 数据在AWS内处理且不共享给Moonshot AI
结构提纲
按章节快速跳转。
思维导图
用一张图看清主题之间的关系。
查看大纲文本(无障碍 / 无 JS 友好)
- Kimi K3.1 Pro Highspeed on Amazon Bedrock
- 模型特性
- 3T参数量/100万token上下文窗口
- 2-3倍生成速度提升
- 安全机制
- AWS数据边界处理
- 零数据保留策略
- 应用场景
- 金融建模
- 游戏引擎开发
- CAD脚本生成
金句 / Highlights
值得收藏与分享的关键句。
Moonshot AI报告Kimi K3.1 Pro Highspeed生成速度是原版的2-3倍
数据处理遵循零数据保留原则且AWS操作员无法访问内容
global.moonshotai.kimi-k3.1路由配置可降低每token成本
在 Amazon Bedrock 上推出 Kimi K3.1 Pro | 人工智能
在 Amazon Bedrock 上推出 Kimi K3.1 Pro
Moonshot AI 推出的 Kimi K3.1 Pro Highspeed 现已上线 Amazon Bedrock。作为 Moonshot AI 新一代 K3.1 系列的一部分,这是 Kimi K3 的微调版本,采用相同的 3T 级开源权重架构和 100 万 token 上下文窗口,但经过大幅增加的微调计算训练。据 Moonshot AI 介绍,额外训练重点优化了长期代理任务并减少事实性错误。该模型在财务建模、办公文档处理、游戏引擎编程、3D 场景构建和计算机辅助设计(CAD)脚本等专业任务上表现更优。Kimi K3.1 Pro Highspeed 的输出 token 生成速度更快,Moonshot AI 报告其速度达到 Kimi K3.1 Pro 的 2-3 倍。
Kimi K3.1 Pro Highspeed 在 Amazon Bedrock 上与 Kimi K3 使用相同的接口、API 和功能。如果您已基于 Kimi K3 开发应用,只需在现有代码中修改模型 ID 即可尝试新版本。
Kimi K3.1 Pro Highspeed 支持工具调用、结构化输出、可配置推理、图像输入和流式传输。您无需改变现有安全策略即可采用该模型。您的数据在 AWS 数据边界内处理,不会与 Moonshot AI 共享,也不会用于模型训练。所有推理请求默认启用零数据留存,且 AWS 操作人员无法访问您的提示词和生成内容。
本文将指导您如何在 Amazon Bedrock 上使用 Kimi K3.1 Pro Highspeed。我们还将介绍如何通过 Flex 级别降低成本、使用显式提示缓存处理重复上下文,以及如何在 OpenCode 中将该模型作为代码助手使用。
在 Amazon Bedrock 上使用 Kimi K3.1 Pro Highspeed 入门
无需编写代码即可尝试该模型,打开 Amazon Bedrock 控制台,选择 Test > Playground,然后选择 Kimi K3.1。
通过代码访问时,Kimi K3.1 Pro Highspeed 通过 bedrock-runtime 接口提供服务,支持 OpenAI 兼容的 Chat Completions 和 Responses API,以及 Amazon Bedrock 的 Converse 和 Invoke API。我们推荐使用 Chat Completions API。您可通过跨区域推理配置访问模型:
global.moonshotai.kimi-k3.1将请求路由到任意支持的商业 AWS 区域,每 token 成本低于地理区域配置。我们推荐用于大多数工作负载。
us.moonshotai.kimi-k3.1保持处理在 US 区域,in.moonshotai.kimi-k3.1保持处理在印度区域,适用于有数据驻留要求的工作负载。
先决条件
要运行示例,您需要:
- 具有 Amazon Bedrock 访问权限的 AWS 账户。
- Python 3.11 或更高版本,已安装 OpenAI SDK、aws-bedrock-token-generator 和 boto3(通过
pip install -U openai aws-bedrock-token-generator boto3安装)。
- 具有调用 Kimi K3.1 Pro Highspeed 推理配置中
bedrock:InvokeModel和bedrock:InvokeModelWithResponseStream权限的 AWS IAM 身份。如果使用 bearer token 认证,还需添加bedrock:CallWithBearerToken权限。
使用 Chat Completions API 调用 Kimi K3.1 Pro Highspeed
如果您的应用已使用 OpenAI SDK,只需指向 Amazon Bedrock 接口并修改模型名称即可。以下示例从 AWS 凭证生成短期 bearer token 并发送请求:
from openai import OpenAI
from aws_bedrock_token_generator import provide_tokenREGION = "us-west-2" MODEL_ID = "global.moonshotai.kimi-k3.1"
该令牌由您的 AWS 凭据派生,因此代码中不会存储长期有效的密钥
client = OpenAI( base_url=f"https://bedrock-runtime.{REGION}.amazonaws.com/openai/v1", api_key=provide_token(region=REGION), )
completion = client.chat.completions.create( model=MODEL_ID, messages=[ {"role": "system", "content": "你是一位简洁的高级工程师。"}, {"role": "user", "content": "在什么情况下应该优先使用队列而不是流?"}, ], reasoning_effort="high", ) print(completion.choices[0].message.content)
Kimi K3.1 Pro Highspeed 总是在回答前进行推理。通过 reasoning_effort 参数,您可以控制推理的程度:low(低)、high(高)或 max(最大)。如果不设置该参数,模型将默认使用 max,因此对于简单任务,设置较低值可以最直接地降低延迟和输出 token 数量。
### 使用 Responses API 调用 Kimi K3.1 Pro Highspeed
相同的客户端可以与 Responses API 配合使用,该 API 使用 reasoning.effort 实现相同的功能设置:
response = client.responses.create( model=MODEL_ID, input="总结乐观锁和悲观锁之间的权衡。", reasoning={"effort": "low"}, ) print(response.output_text)
### 使用 Converse API 调用 Kimi K3.1 Pro Highspeed
如果您已经在使用 Amazon Bedrock Converse API,只需更改模型 ID 即可:
import boto3
bedrock = boto3.client("bedrock-runtime", region_name="us-west-2") response = bedrock.converse( modelId="global.moonshotai.kimi-k3.1", messages=[{"role": "user", "content": [{"text": "用两句话解释幂等性键。"}]}], )
模型在回答前可能返回推理块,因此选择文本块
content = response["output"]["message"]["content"] print(next(block["text"] for block in content if "text" in block))
## 使用 Flex 级别降低成本
Flex 级别以标准价格一半的成本提供 Kimi K3.1 Pro Highspeed,但可能需要更长的响应时间。它非常适合将成本效率优先于响应时间的工作负载,例如模型评估、内容摘要和代理工作流中的后台任务。由于您可以为每个请求选择级别,一个应用程序可以混合使用不同级别。例如,同一应用程序可以对延迟敏感的请求使用 Priority 级别,对日常流量使用 Standard 级别,对成本敏感的工作使用 Flex 级别。您的按需配额在 Standard、Priority 和 Flex 级别之间共享。
要使用 Flex 级别,请将 service_tier 设置为 flex。以下示例重用了前面的 Chat Completions 客户端:
completion = client.chat.completions.create( model=MODEL_ID, messages=[{"role": "user", "content": "列出需要测试的函数边缘情况,该函数解析 ISO 8601 日期。"}], service_tier="flex", ) print(completion.choices[0].message.content) print(completion.service_tier) # 服务请求的级别
在 Converse API 中,将 serviceTier 设置为 {"type": "flex"}。要查看每个级别处理了多少流量,请使用 Amazon CloudWatch 中的 ServiceTier 和 ResolvedServiceTier 维度。我们建议从少量流量开始使用 Flex,比较延迟和成本后再逐步增加。
## 通过显式提示缓存优化推理
代理和代码助手在每次交互中都会重复发送相同的大型前缀:系统指令、工具定义、仓库规范和参考文档。Kimi K3.1 Pro Highspeed 可自动缓存重复的前缀,通过显式提示缓存功能,您可以标记稳定前缀的结束位置以提高缓存命中率。后续请求将复用该前缀而非重新处理,从而降低长重复上下文的延迟和输入成本。
适用规则如下:
- 显式缓存功能适用于 Chat Completions、Responses 和 Invoke API,但不适用于 Converse。
- prompt_cache_breakpoint 必须跟在至少 256 个 token 的稳定内容之后。
- 缓存内容保留时间不少于 30 分钟。
- 缓存写入的计费速率高于标准输入,缓存读取按折扣费率计费且不计入每分钟输入 token 额度。
以下示例缓存了长系统提示,并在用户内容后添加了第二个断点,使同一文档的后续问题可复用两层缓存:
from pathlib import Path
LONG_STATIC_PROMPT = Path("repo_guidelines.md").read_text() # 稳定内容,至少 256 token QUESTION = "Which of these guidelines apply to database migrations?"
def cached_text(text):
标记可缓存前缀的结束位置
return {"type": "input_text", "text": text, "prompt_cache_breakpoint": {"mode": "explicit"}}
response = client.responses.create( model=MODEL_ID, extra_body={"prompt_cache_options": {"mode": "explicit"}}, input=[ {"type": "message", "role": "system", "content": [cached_text(LONG_STATIC_PROMPT)]}, {"type": "message", "role": "user", "content": [cached_text(QUESTION)]}, ], ) details = response.usage.input_tokens_details print(f"Cache read: {details.cached_tokens} tokens") # 缓存命中时大于 0
更多信息请参阅 [Prompt caching for faster model inference](#)。
## Kimi K3.1 Pro Highspeed 实践:与 OpenCode 集成编程
OpenCode 是一个开源的、模型无关的终端代码代理。您可通过 Amazon Bedrock Chat Completions API 将其连接到 Kimi K3.1 Pro Highspeed,使用 OpenCode 的 OpenAI 兼容提供程序和 Amazon Bedrock API 密钥。要创建密钥,请在设置的 AWS Region 中打开 Amazon Bedrock 控制台,然后选择 API keys。短期密钥最多持续 12 小时,仅在生成密钥的 Region 内有效,建议用于生产环境。长期密钥用于探索性用途。
将以下内容添加到 `~/.config/opencode/opencode.json`,将 baseURL 中的 Region 替换为您的 Region:
{ "$schema": "https://opencode.ai/config.json", "providers": { "amazon-bedrock-chat-completions": { "name": "Amazon Bedrock (Chat Completions)", "package": "@opencode/ai/providers/openai-compatible", "settings": { "baseURL": "https://bedrock-runtime.us-west-2.amazonaws.com/openai/v1" }, "models": { "global.moonshotai.kimi-k3.1": { "name": "Kimi K3.1 Pro Highspeed", "capabilities": { "reasoning": { "supported": true, "effort": ["low", "high", "max"] } } } } } }, "model": "amazon-bedrock-chat-completions/global.moonshotai.kimi-k3.1" }
在项目目录中启动 OpenCode,进入 /connect,选择 Amazon Bedrock(Chat Completions),然后按照图 1 所示粘贴您的 API 密钥。OpenCode 会存储该密钥,因此每个密钥只需连接一次。在会话中切换 Kimi K3.1 Pro Highspeed 和其他模型时,输入 /models。
图 1:将 OpenCode 连接到 Amazon Bedrock(Chat Completions)服务提供商
配置中的 capabilities 条目列出了模型支持的推理努力级别,因此 OpenCode 提供 low、high 和 max 作为模型的变体,如图 2 所示:
图 2:OpenCode 中 Kimi K3.1 Pro Highspeed 的推理努力变体
在代理式编码中,输出速度最为关键。为了完成单一任务,编码代理需要连续进行多次模型调用。它会读取文件、规划变更、编辑代码、运行测试并修复失败部分。每次调用必须在下一次开始前完成,而大量时间都花在生成推理和代码上。更高的输出令牌率会缩短每个步骤,从而使整个编辑-测试-修复循环更快完成,减少迭代之间的等待时间。
## 可用性
Kimi K3.1 Pro Highspeed 通过 global.moonshotai.kimi-k3.1、us.moonshotai.kimi-k3.1 和 in.moonshotai.kimi-k3.1 跨区域推理配置文件在 Amazon Bedrock 上提供。有关支持的区域和模型详情,请参阅 Kimi K3.1 Pro Highspeed 模型卡片和区域可用性。有关定价信息,请参阅 Amazon Bedrock 定价。
立即开始,通过 Amazon Bedrock 控制台体验 Kimi K3.1 Pro Highspeed。如需与 Amazon Bedrock 团队讨论您的使用场景,请与我们联系。
## 作者简介
'"`