caol64 /
"让阅读止于理解，让知识始于结构化 Markdown。" 当下，AI 辅助学习、RAG 知识库、个人知识管理已经成为刚需。结构化、干净简洁的 Markdown，是大模型理解内容、检索知识、拆解长文的最优格式。杂乱网页文本会浪费大量 Token、干扰 AI 解析逻辑，而标准化 Markdown，才是高质量私有知识库的底层基石。 墨探的诞生，就是为了解决这个长期痛点：一键抓取全网正文，剥离冗余垃圾内容，输出纯净、标准、可直接入库的结构化 M…
"让阅读止于理解，让知识始于结构化 Markdown。" 当下，AI 辅助学习、RAG 知识库、个人知识管理已经成为刚需。结构化、干净简洁的 Markdown，是大模型理解内容、检索知识、拆解长文的最优格式。杂乱网页文本会浪费大量 Token、干扰 AI 解析逻辑，而标准化 Markdown，才是高质量私有知识库的底层基石。 墨探的诞生，就是为了解决这个长期痛点：一键抓取全网正文，剥离冗余垃圾内容，输出纯净、标准、可直接入库的结构化 Markdown。 墨探：专为知识收纳而生的开源转换工具 墨探（Omni-Article-Markdown），一款轻量化开源工具，核心目标简单且纯粹：适配全网主流平台，精准提取文章正文，完成高质量 HTML 转 Markdown 转换。 项目开源地址： 极简上手，开箱即用 无需复杂配置，一行命令即可完成文章抓取与格式转换，零基础也能快速使用： bash pip install omni-article-markdown 抓取任意网页文章，自动生成纯净 Markdown 并本地保存 mdcli " -s 复制链接、执行命令，一篇排版规整、无广告、无冗余的 Markdown 文件，自动保存至本地，可直接导入 Obsidian、Notion、语雀等所有笔记工具。 三段式流水线架构：兼顾兼容性与转换精度 墨探采用模块化流水线设计，分层解耦、职责清晰，兼顾轻量性能与复杂场景适配： URL 链接 → Reader 网页抓取 → Extractor 正文提取 → Parser 格式转译 Reader 智能抓取：适配全类型网页 针对不同网站的渲染逻辑，做了分层适配，平衡速度与兼容性： 静态网页：轻量请求快速抓取，低消耗、高效率； SPA 动态页面（飞书文档、各类自研文档平台）：自动启用浏览器渲染引擎，模拟真实访问行为； 高反爬平台（知乎、百家号等）：内置隐身访问策略，绕过基础限制，稳定获取完整内容。 同时框架采用插件化自动发现机制，新增站点适配无需修改核心代码，拓展灵活度拉满。 Extractor 精准提纯：只保留核心正文 网页中充斥导航、侧边栏、推荐广告、评论区等无效内容，Extractor 正是内容提纯的核心。 目前已深度适配 40+ 主流内容平台，覆盖日常阅读全场景： | 海外技术社区 | 国内内容平台 | 企业&开发者文档 | | :--- | :--- | :--- | | Medium、Google 开发者博客 | 微信公众号、掘金、知乎 | 飞书文档、语雀 | | Anthropic、AI 行业专栏 | CSDN、博客园、少数派 | Cloudflare、JetBrains 官方文档 | 每个平台独立定制解析规则，精准锁定正文容器，自动清理无效标签、重复标题、悬浮组件，从繁杂的网页代码中，只留存有价值的核心内容。小众站点也可通过极简代码快速适配，扩展性极强。 Parser 精细转译：还原原生排版结构 区别于简单粗暴的标签替换，墨探的 Markdown 解析引擎，基于DOM树状态遍历解析，最大程度还原原文排版逻辑： 智能识别 LaTeX 公式标签，自动转换为标准可渲染的多行公式格式； 嵌入代码、Gist 资源自动拉取原始内容，保证代码完整性； 自动识别代码块编程语言，保留语法标识，适配技术文档收纳； 表格、有序/无序列表、引用、加粗等元素标准化转换； 批量修正图片相对路径，自动补全绝对链接，避免图片失效； 后置格式统一修复，规避特殊符号、嵌套标签导致的排版错乱。 整套解析逻辑，兼顾美观与实用性，转换后的内容，完全满足阅读、归档、AI 解析三重需求。 写在最后 互联网从不缺少优质内容，但碎片化、私有化、杂乱化的格式，正在浪费大量有价值的知识。 墨探的核心初衷，不止是简单的格式转换，更是让知识自由流动： 打破平台壁垒、统一内容格式、沉淀个人资产，让每一篇你认真阅读过的好文，都能有序存入知识库，服务长期学习、思考与创作。 让收纳不再费力，让知识可以复用，让你的第二大脑，真正装满高质量内容。
讨论这个产品