memtensor /
memt-1.0
我们推出并开源了记忆原生基础模型 MemT 1.0，探索让“记住、更新、调用经验”成为模型可以学习的能力，这是我们的 GitHub 开源链接： ，欢迎老师体验～ 模型创新点 我们在 Transformer 的部分模块中加入原生记忆模块，让模型通过内部记忆状态保留和使用历史信息。每轮交互时，模型读取已有记忆；交互结束后，再将输入与回答写入记忆，供后续使用。这个过程中，模型权重保持固定，更新的是各条交互轨迹独立维护的记忆状态。也就是说，在后…
Product images
About
我们推出并开源了记忆原生基础模型 MemT 1.0，探索让“记住、更新、调用经验”成为模型可以学习的能力，这是我们的 GitHub 开源链接： ，欢迎老师体验～ 模型创新点 我们在 Transformer 的部分模块中加入原生记忆模块，让模型通过内部记忆状态保留和使用历史信息。每轮交互时，模型读取已有记忆；交互结束后，再将输入与回答写入记忆，供后续使用。这个过程中，模型权重保持固定，更新的是各条交互轨迹独立维护的记忆状态。也就是说，在后续相关任务中，模型可以利用此前写入的信息，无需再次把历史原文放进当前上下文。 模型具体表现 本次开源包含 Flash 和 Nano 两款模型，总参数量分别为 288B、36B，激活参数量分别为 17B、3B。在查询时不提供历史原文的条件下，两款模型在 11 项记忆基准上的平均得分分别为 50.6、47.0，位列本次评估的参数化记忆方法第一、第二。同时，我们也在 Coding Agent 中探索了经验的使用：将检索到的操作经验写入内部记忆，帮助模型完成后续任务。
Discovery history
- 阮一峰周刊·用户投稿
Discuss this product