ernie-research /
echo
论文 ECHO（arXiv:2610.24766）的官方仓库，研究大模型的多 token 预测（MTP）。ECHO 不再给主干外挂 MTP 模块，而是复用主干最后一层预测每个未来位置，并按随深度衰减的概率抽样训练深度。仓库公开了评测打分代码与逐题记录、HF/PyTorch 模型实现、草稿模型训练配置和推理接受长度的原始记录，适合想了解 MTP 与投机解码的读者。 亮点 成本对齐的对比：同为一层深度，ECHO-1 在 14 个基准上的平均…
Product images
About
论文 ECHO（arXiv:2610.24766）的官方仓库，研究大模型的多 token 预测（MTP）。ECHO 不再给主干外挂 MTP 模块，而是复用主干最后一层预测每个未来位置，并按随深度衰减的概率抽样训练深度。仓库公开了评测打分代码与逐题记录、HF/PyTorch 模型实现、草稿模型训练配置和推理接受长度的原始记录，适合想了解 MTP 与投机解码的读者。 亮点 成本对齐的对比：同为一层深度，ECHO-1 在 14 个基准上的平均分为 35.73，MTP-1 为 35.22；ECHO-1.5 只用 MTP-3 一半的训练开销，平均分 36.34，高于 MTP-3 的 35.38；SFT 后 ECHO-1.5-Instruct 为 37.88，MTP-Instruct 为 36.27 预训练出的模型本身就能当草稿模型，推理时可以超出训练深度继续起草，在开放式、高熵生成上仍保持草稿与目标模型的对齐 结果可核查：benchmarktable/score.py 只读逐题记录、不读汇总表，直接重算论文表格里的每个单元格，并与论文数值并列输出 HF/PyTorch 实现与 Paddle 原版逐条对齐验证，同一批 prompt 两边都能跑 说明：仓库不含模型权重、训练语料和 tokenizer
Discovery history
- HelloGitHub·用户投稿
Discuss this product