能把所有 PDF 解析工具按在地上摩擦的开源神器
上海人工智能实验室开源的 PDF 解析工具,支持复杂公式、表格还原和图像分离,适合学术研究和 RAG 开发者使用。
上海人工智能实验室开源的 PDF 解析工具,支持复杂公式、表格还原和图像分离,适合学术研究和 RAG 开发者使用。
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力,1.5B参数模型在200-500个优质样本上微调后,可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例,详细讲解了微调的实际目标、建立基线(纯提示、RAG、微调)的先后顺序,并分步骤介绍了小型基座模型选择(如Qwen2.5-1.5B)、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署,每一步均附完整代码。
LlamaIndex 推出完全用 Rust 重写的文档解析器 LiteParse。相比旧版,新版本在处理大文档时速度提升 3 倍,小文档提升可达 100 倍,实测 457 页 PDF 解析仅需 0.777 秒。该工具支持 Python、Node.js、Rust 及浏览器环境,覆盖 PDF、Office 等主流格式,具备原生 OCR 能力,且可作为 Agent Skill 直接集成。
作者基于此前多次 OCR 横评经验,介绍百度文心团队开源的 Unlimited OCR 2。作者实测 1665 页《平凡的世界》图片版 PDF,40 分钟完整解析,3623 页《哈利·波特》也只需 90 分钟。其核心创新是 SR-SWA(稀疏参考滑动窗口注意力),通过 Page Gate 划定相关页面、Token Sieve 挑选 top-k 视觉块,使每步计算量不随页数增长;配合无限解码机制,百页文档峰值显存从 47GB 降至 1.77GB。与全注意力相比快 7 倍,在 MarathonDocBench 上保持 SOTA。短板是全局结构信息(如标题层级)保留不足。
作者以美妆企业 FDE 落地项目为例,讲解如何将小红书、抖音、视频号、微博等平台采集的多模态数据(文字、图片、音频、视频)清洗成一套可信、可查询的结构化数据。文章提出八步通用链路:定数据规范、保留原始内容、梳理用户/帖子/评论关系、多模态归一处理、冲突与质量清洗(含证据分级)、生成结构化数据、执行验收、按规则和版本入库。文中还给出 OCR/ASR 工具选型建议(FFmpeg、PaddleOCR、Whisper 等)以及大模型结构化输出的实践经验。
MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0,将记忆能力直接训练进模型权重,取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结,仅在部分层并联约 1.05 亿参数的记忆块,通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”,优化目标从检索命中率改为任务答对率。交付物包括通用模型权重(会记笔记的大脑)和用户专属记忆状态文件(仅 40 MiB 的笔记本)。数据显示其 40 MiB 记忆答题成功率 69.73%,略高于全量上下文的 69.13%,存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源,被视为开启模型“在使用中变强”的第四条技术路线。
作者岚叔宣布将自研的 macOS 截图工具 QuickShot 正式开源。该工具支持悬停识别窗口、彩虹轮廓高亮截图、圆角外透明等特性;内置十种标注方式,支持二次编辑、移动、改色和无限撤销重做;提供署名美化、渐变背景、多种比例设置并可保存为默认样式;还具备多图拼接、窗口置顶贴图、本地 OCR 文字识别等功能。所有截图和文字均在本地处理,不上传、无需账号,注重隐私。文末附官网、下载和源码地址,邀请用户体验、Star 和提建议。
腾讯开源了微信团队的端到端文档解析模型 WeVisDoc,提供 2B 和 4B 两个版本。模型可将整页文档图片直接转换为 Markdown,无需分别裁剪标题、正文、表格和公式。它能保留复杂文档结构:正文转 Markdown,公式转 LaTeX,表格转 HTML,并恢复阅读顺序。版面理解、文字识别、公式识别和表格重建均由单一视觉语言模型完成,无需额外部署版面检测器或 OCR 引擎。2B 适合资源有限场景,4B 在拍照、翻拍等退化页面表现更优,在公式和表格解析方面端到端领先。
FileMarkd 正式开源,基于 MIT 协议,可自由使用、修改和商用。这是一款 AI 驱动的文档转 Markdown 工具,支持 PDF、Word、PPT、Excel、图片、EPUB 等 40+ 格式一键转换,能自动识别文字、表格、公式和层级结构,具备置信度评分、表格还原和智能页眉页脚剥离功能。项目包含完整可商用能力:登录、Stripe 订阅/积分、推广返利、五语国际化和管理后台,基于 Next.js 可一键部署至 Vercel。
本文介绍如何构建一个带引用溯源的文档问答Agent(Grounded Document Agent)。核心问题是PDF解析质量决定答案上限:双栏排版、表格、图表等常被错误扁平化。项目使用LlamaParse在云端进行布局感知的Markdown解析并保留页码元数据,随后通过Ollama本地运行nomic-embed-text生成向量索引,配合CitationQueryEngine检索最相关的段落并生成带编号引用的答案。解析结果按文件哈希缓存以节省成本。界面展示页码、检索文本和相关度评分,让用户可检验引用背后的原始证据,区分解析、检索或生成阶段的错误。
文章包含两条内容:一是 DeepSeek kernel 工程师 Shengyu Liu 的长文,讲述 AI 已能自主分析 CUDA/PTX/SASS 并优化 kernel,他预判半年到一年内 AI 写的 kernel 可能超过自己,工作将从亲手写代码变为驾驶 Agent,并担忧未来社会走向共产主义或赛博朋克两极,因此选择留在 DeepSeek 推动开源 AI。二是微信团队开源的 WeKnora 框架,已从 RAG 系统进化为企业 Agent 基础设施,提供知识处理、ReAct Agent、Sandbox 执行环境、长期记忆和 Auto-Wiki 能力,代表 RAG 向企业 Agent Context + Runtime 的迁移趋势。
本文是 FDE(前沿部署工程师)系列教程,强调企业上 AI 的前提是做好数据治理。作者以纸质维修单、扫描产品手册和 Excel 配件表为例,讲解完整流程:确认用途、盘点原件、扫描采集、OCR 与解析、清洗核对、验收发布、持续维护。文章介绍了 OCRmyPDF、PaddleOCR、OpenRefine、DuckDB 等开源工具的组合使用,涵盖表格解析、字段口径统一、重复与版本处理、权限管理、人工抽查验收等实操细节,并指出 AI 应先进入待核队列而非直接覆盖正式数据。数据理顺后,再接入知识库和 AI 才能真正落地。
作者袋鼠帝开发并开源了一款AI原生截图工具“拓(Ta)”,具备钉图、标注、马赛克、截长图等常规功能,并深度集成AI能力:框选即可OCR识别文字、翻译并自动复制到剪贴板,还支持AI识图。拓可作为skill或CLI接入任何Agent(如Codex),实现自动截图获取报错信息等自动化流程。开发过程使用智谱最新开源模型glm-5.3-flash,作者评价其coding、agent与视觉能力出色,价格仅为Opus的1/40,兼具速度、性能与性价比,标志前沿模型进入普惠时代。