DevTrends开发者趋势
主题色

cai114514114514 /

tinybrain

tinybrain 是一个以中文为主的小语言模型项目,从数据开始自己做:从 26 个公开来源下载、清洗、跨来源去重,按配比和质量分成 1B / 5B / 20B / 60B token 四档,数据集在 ModelScope 开源。模型、训练、推理、评测的代码都用 PyTorch 从零写,不依赖 transformers 之类的训练框架,一个文件讲一个概念,适合想弄懂大模型每一步怎么做的人对着读。pip install 之后,tinybr…

语言PythonDT研究与学习DT软件开发DT库 / SDK原始chinese原始dataset原始from-scratch原始language-model原始llm原始mixture-of-experts原始muon原始pretraining原始pytorch

产品配图

关于

tinybrain 是一个以中文为主的小语言模型项目,从数据开始自己做:从 26 个公开来源下载、清洗、跨来源去重,按配比和质量分成 1B / 5B / 20B / 60B token 四档,数据集在 ModelScope 开源。模型、训练、推理、评测的代码都用 PyTorch 从零写,不依赖 transformers 之类的训练框架,一个文件讲一个概念,适合想弄懂大模型每一步怎么做的人对着读。pip install 之后,tinybrain pretrain、tinybrain sft、tinybrain chat 几条命令就能在一张 16GB 显卡上从预训练走到对话。 亮点 数据也开源:600 亿 token 的中文为主的预训练数据,四档套娃(小档完整包含在大档里),每篇带来源和许可证;另有 SFT、RL、评测数据 用了较新的结构:DeepSeek 的 mHC 多流残差和 Engram 查表记忆、3:1 滑动窗口注意力、可选的混合专家,优化器是 Muon 后训练做全套:SFT → 领域专家 → 多老师在线蒸馏 → 强化学习(GRPO),10 种题型各有判分器,包括诗词格律 一张 RTX 5070 Ti 16GB 就能训:small 约每秒 7 万 token,nano 数据预训练一遍约 4 小时 README 把每个部件的公式和取舍都写清楚了

收录记录

  1. HelloGitHub·用户投稿

    2026年11月15日 · 1 次收录

  2. 阮一峰周刊·用户投稿

    2026年11月15日 · 1 次收录

讨论这个产品