公司
别名：arizeai
与Fireworks AI合作进行模型分析的科技公司
已跟踪 7 条高相关材料
最近变化
2026-08-04 · 文章未提供具体技术方案或原理说明
为什么值得关注
Arize AI 被反复提及时，通常意味着它正在影响产品路线、开发者工作流或 AI 产业判断。这个页面把分散材料合并成一个可持续更新的观察入口。
Many still debate open vs closed, and compare cost per token (accounting metric). Better to shift ...
Fireworks AI(@FireworksAI_HQ) · 8.5 分
模型成本评估应关注任务完成成本而非每token价格，2400次测试表明按任务难度路由可同时优化成本与覆盖范围。
How to measure human-LLM judge alignment
Arize AI Blog · 8.5 分
本文提出系统性方法衡量LLM评估者与人类判断一致性，通过三个核心问题和六步流程提升评估可靠性。
How OpenAI uses human feedback to evaluate and improve LLMs
Arize AI Blog · 8.5 分
OpenAI通过整合用户显式/隐式反馈构建了统一数据层，结合LLM管道和聚类分析实现自动化问题追踪，使截图可直接生成修复代码。
已收录 7 条与 Arize AI 相关的内容，按评分排序。
模型成本评估应关注任务完成成本而非每token价格，2400次测试表明按任务难度路由可同时优化成本与覆盖范围。
入选理由：2400次基准测试覆盖10个模型，包括Kimi K3
文章提出从人工操作代理开发转向系统化改进的工程架构，通过自动化循环提升效率。
入选理由：系统化改进依赖追踪、失败发现、管理工作者和舰队控制的闭环架构
Kiro CLI与Arize Skills结合，通过可观测性追踪和评估代码代理变更，解决生成代码验证难题。
入选理由：Kiro CLI支持自然语言驱动的代码修改与执行，集成Arize Skills后可自动追踪行为并生成评估数据集。
Cursor通过集成验证架构实现AI代码可信度管控，结合行为工件、风险评分和自动化审查，使40%的PR无需人工审核。
入选理由：Cursor的验证架构整合CI/安全审查/风险评分，实现40%PR自动合并
OpenAI通过整合用户显式/隐式反馈构建了统一数据层，结合LLM管道和聚类分析实现自动化问题追踪，使截图可直接生成修复代码。
入选理由：OpenAI的反馈系统使截图能自动定位代码问题并生成pull request
本文提出系统性方法衡量LLM评估者与人类判断一致性，通过三个核心问题和六步流程提升评估可靠性。
入选理由：使用Cohen’s kappa等指标报告人类间一致性，避免高估实际水平
文章为Fireworks AI的活动宣传，未提供技术细节，仅提及将与Arize AI合作讨论模型成本问题。
入选理由：文章未提供具体技术方案或原理说明
