rtomic

About

用 R torch 从零构建的 JEPA (Joint Embedding Predictive Architecture) 大语言模型（带思维链），含 BPE 分词器训练、预训练、SFT 微调、推理全流程，总计约 700 行主脚本代码，单卡 RTX 4090 可跑，训练成本约 4 块钱。 点击观看视频演示 项目特点 1. 全 R 语言实现 完全基于 R 语言的 torch 和 luz 生态实现，不依赖任何 Python 深度学习框架。这在 LLM 领域极为少见，展示了 R 语言在深度学习前沿探索中的可能性。 2. JEPA + VQ 核心架构 不同于标准 GPT 式语言模型（在 logits 上计算交叉熵损失），本项目采用 JEPA (Joint Embedding Predictive Architecture)： 隐空间预测：模型不是直接预测下一个 token 的 ID，而是在 embedding 语义空间中预测下一个 token 的连续向量表示 InfoNCE 对比损失：使用对比学习目标函数，让预测的隐向量在语义空间中接近真实下一 token 的 embedding，远离其他 token VQ (Vector Quantization) 解码：推理时通过最近邻搜索，在 token embedding 矩阵（同时作为码本）中找到最接近预测向量的 token ID 直通估计器 (STE)：VQ 量化过程通过 STE 保持梯度通路，可端到端反向传播 这种架构相比传统 LLM 有以下特点： 使用对比学习让模型学习到 token 之间的语义关系，而非机械的 n-gram 统计 Token embedding 矩阵天然作为 VQ 码本，无需额外参数 在推理时可结合连续空间操作（如插值、编辑）后再量化 简单说：标准 GPT 在开放域文本生成上更成熟稳定，而 JEPA 在语义理解和连续空间操作上有独特优势。本项目选择了 JEPA，是对 LeCun 世界模型理念的一次实践验证。 3. 极致低成本复现 模型架构：约 50M 参数（10 层 Transformer / 10 个注意力头 / 640 隐藏层维度 / 8192 词表） 上下文长度：256（预训练）→ 512（SFT） 训练数据： 预训练：117 万篇 / 787MB（基于 Minimind 语料清洗过滤） SFT：3000 条 CoT 思维链指令（DeepSeek V4 Flash 蒸馏） 算力与成本：单卡 RTX 4090 (24GB)，总耗时 2 小时（PT 1.5h + SFT 0.5h），约 4 元（AutoDL 按时租用）

Discovery history

1. 阮一峰周刊·用户投稿

   May 18, 2026 · 1 observations