rsi-gear /
gear
大家好,自荐一个开源项目 Gear,希望帮助开发者提升 AI Agent 在具体任务中的表现。 开发 Agent 时,经常需要反复调整提示词、工具和执行流程,再跑一遍任务,检查改动是否有效。Gear 把这个过程组织成一个由评测反馈驱动的优化循环: 1. 准备一组有明确验收标准的任务,可以使用现有 benchmark,也可以定义自己的任务集。 2. 运行 Agent,收集执行轨迹和评测结果。 3. 由负责优化的 Agent 分析失败原因,…
rsi-gear /
大家好,自荐一个开源项目 Gear,希望帮助开发者提升 AI Agent 在具体任务中的表现。 开发 Agent 时,经常需要反复调整提示词、工具和执行流程,再跑一遍任务,检查改动是否有效。Gear 把这个过程组织成一个由评测反馈驱动的优化循环: 1. 准备一组有明确验收标准的任务,可以使用现有 benchmark,也可以定义自己的任务集。 2. 运行 Agent,收集执行轨迹和评测结果。 3. 由负责优化的 Agent 分析失败原因,…
大家好,自荐一个开源项目 Gear,希望帮助开发者提升 AI Agent 在具体任务中的表现。 开发 Agent 时,经常需要反复调整提示词、工具和执行流程,再跑一遍任务,检查改动是否有效。Gear 把这个过程组织成一个由评测反馈驱动的优化循环: 1. 准备一组有明确验收标准的任务,可以使用现有 benchmark,也可以定义自己的任务集。 2. 运行 Agent,收集执行轨迹和评测结果。 3. 由负责优化的 Agent 分析失败原因,修改授权范围内的组件。 4. 重新评测、比较候选版本,保留表现更好的方案,继续迭代。 可优化的组件包括提示词、工具实现、Skills、工作流和上下文管理。这些围绕模型的运行配置统称为 harness。Gear 会记录各版本的改动和评测结果,方便检查和复用;开发者也可以定制搜索算法,并根据通过率、费用或 token 消耗设置优化目标。 在项目公开的 AutomationBench Marketing 实验中,GPT 5.6 Luna + DSH 在 100 个公开任务上的任务通过率从 27% 提升到 53%,目标完成率从 75.37% 提升到 88.88%。这组结果包含 harness 优化和推理档位从 medium 到 max 的变化,且任务集参与过优化;实验配置与评分口径均已公开,便于读者判断结果的适用范围。 Gear 通过 Refine Skill 接入 Codex、Claude Code、DSH 等 Agent 环境。负责提出改进的 Agent 与执行任务的 Agent 可以使用不同模型。当前已支持 harness 优化,模型训练仍处于实验阶段。 项目采用 MIT 协议,提供中文文档和完整实验案例,欢迎试用、反馈和贡献。 GitHub 源码 中文文档与快速开始 实验过程与优化算法
Discuss this product