cai114514114514 /
tinybrain
tinybrain 是一个以中文为主的小语言模型项目,从数据开始自己做:从 26 个公开来源下载、清洗、跨来源去重,按配比和质量分成 1B / 5B / 20B / 60B token 四档,数据集在 ModelScope 开源。模型、训练、推理、评测的代码都用 PyTorch 从零写,不依赖 transformers 之类的训练框架,一个文件讲一个概念,适合想弄懂大模型每一步怎么做的人对着读。pip install 之后,tinybr…
cai114514114514 /
tinybrain 是一个以中文为主的小语言模型项目,从数据开始自己做:从 26 个公开来源下载、清洗、跨来源去重,按配比和质量分成 1B / 5B / 20B / 60B token 四档,数据集在 ModelScope 开源。模型、训练、推理、评测的代码都用 PyTorch 从零写,不依赖 transformers 之类的训练框架,一个文件讲一个概念,适合想弄懂大模型每一步怎么做的人对着读。pip install 之后,tinybr…
tinybrain 是一个以中文为主的小语言模型项目,从数据开始自己做:从 26 个公开来源下载、清洗、跨来源去重,按配比和质量分成 1B / 5B / 20B / 60B token 四档,数据集在 ModelScope 开源。模型、训练、推理、评测的代码都用 PyTorch 从零写,不依赖 transformers 之类的训练框架,一个文件讲一个概念,适合想弄懂大模型每一步怎么做的人对着读。pip install 之后,tinybrain pretrain、tinybrain sft、tinybrain chat 几条命令就能在一张 16GB 显卡上从预训练走到对话。 亮点 数据也开源:600 亿 token 的中文为主的预训练数据,四档套娃(小档完整包含在大档里),每篇带来源和许可证;另有 SFT、RL、评测数据 用了较新的结构:DeepSeek 的 mHC 多流残差和 Engram 查表记忆、3:1 滑动窗口注意力、可选的混合专家,优化器是 Muon 后训练做全套:SFT → 领域专家 → 多老师在线蒸馏 → 强化学习(GRPO),10 种题型各有判分器,包括诗词格律 一张 RTX 5070 Ti 16GB 就能训:small 约每秒 7 万 token,nano 数据预训练一遍约 4 小时 README 把每个部件的公式和取舍都写清楚了
讨论这个产品