kenyony /
dtflow
做大模型微调时，训练数据是一行一条的 JSONL，每条里嵌着多轮对话，head | jq 只能看一条，通用表格工具把对话显示成 {3}。dtflow 的 dt view 把它当"样本"来看：左边表格扫视每条样本的轮数、角色、字数和调用过的工具，右边把当前样本渲染成对话，支持全文件搜索、筛选、排序并导出子集。 亮点 认得训练数据格式：openaichat / sharegpt / alpaca / dpo 自动检测，对话按角色上色、代码块…
产品配图
关于
做大模型微调时，训练数据是一行一条的 JSONL，每条里嵌着多轮对话，head | jq 只能看一条，通用表格工具把对话显示成 {3}。dtflow 的 dt view 把它当"样本"来看：左边表格扫视每条样本的轮数、角色、字数和调用过的工具，右边把当前样本渲染成对话，支持全文件搜索、筛选、排序并导出子集。 亮点 认得训练数据格式：openaichat / sharegpt / alpaca / dpo 自动检测，对话按角色上色、代码块高亮、工具调用参数格式化并标出非法 JSON、DPO 的 chosen / rejected 并排对比 大文件秒开：窗口化加载，91 万行、155MB 的 JSONL 打开只占约 90MB 内存；搜索和筛选走多进程扫全文件，30 万行 0.2 秒 鼠标真的能用：点列头筛选、拖列宽、拖选文字复制，SSH 和 tmux 里也能进本机剪贴板（同类终端工具基本都是纯键盘） 筛完能落地：w 导出子集并自动记录来源文件与筛选条件，C 复制一条能复现当前视图的命令 CLI 像 Unix 工具一样拼管道：dt filter / select / dedupe / transform / export，条件直接写 Python 表达式，一键导出 LLaMA-Factory / ms-swift / Axolotl 可直接训练的目录
收录记录
- HelloGitHub·用户投稿
- 阮一峰周刊·用户投稿
讨论这个产品