carquet

Product images

About

carquet 是一个纯 C11 编写的 Apache Parquet 读写库，不依赖 Arrow。整个库约 500 KB，只用到 zstd、zlib、lz4、brotli 四个依赖（CMake 找不到时会自动下载编译），一分钟内即可构建完成。它完整支持 Parquet 的物理类型、编码方式、嵌套结构、统计信息、布隆过滤器和页索引，写出的文件可以被 PyArrow、DuckDB、Spark 直接读取；通过 Arrow C Data Interface，也能与 Arrow 生态零依赖互通。 在 Apple M3 上对 1000 万行数据的基准测试中，carquet 写入压缩文件的速度是 Arrow C++ 的 1.8–5.7 倍，读取同一个文件快 1.3–2.1 倍；未压缩数据走 mmap 零拷贝路径，读取 1000 万行只需 0.36 毫秒。读写路径都针对 x86（SSE、AVX2、AVX-512）和 ARM（NEON、SVE）做了 SIMD 优化，并在运行时自动选择。 除了 C API，它还自带一个命令行工具（查看 schema、统计信息、按条件过滤行、生成 C 读取代码），提供 Python 包 pip install carquet（底层仍是这份 C 代码，通过 Arrow 与 PyArrow 零拷贝交换数据），以及一份给 Claude Code / Codex 等编程助手使用的 Agent Skill，帮助把库接入已有项目。MIT 协议。 图片：

Discovery history

1. 阮一峰周刊·用户投稿

   Oct 20, 2026 · 1 observations