LlamaIndex 用 Rust 重写文档解析器 LiteParse
LlamaIndex 推出完全用 Rust 重写的文档解析器 LiteParse。相比旧版,新版本在处理大文档时速度提升 3 倍,小文档提升可达 100 倍,实测 457 页 PDF 解析仅需 0.777 秒。该工具支持 Python、Node.js、Rust 及浏览器环境,覆盖 PDF、Office 等主流格式,具备原生 OCR 能力,且可作为 Agent Skill 直接集成。
LlamaIndex 推出完全用 Rust 重写的文档解析器 LiteParse。相比旧版,新版本在处理大文档时速度提升 3 倍,小文档提升可达 100 倍,实测 457 页 PDF 解析仅需 0.777 秒。该工具支持 Python、Node.js、Rust 及浏览器环境,覆盖 PDF、Office 等主流格式,具备原生 OCR 能力,且可作为 Agent Skill 直接集成。
文章清晰介绍了LlamaIndex用Rust重写的文档解析工具,包含详尽的性能数据、多平台安装指南和RAG集成方法,实操性极强且离当前日期近,极具时效性,但底层技术细节略显不足。
腾讯开源了微信团队的端到端文档解析模型 WeVisDoc,提供 2B 和 4B 两个版本。模型可将整页文档图片直接转换为 Markdown,无需分别裁剪标题、正文、表格和公式。它能保留复杂文档结构:正文转 Markdown,公式转 LaTeX,表格转 HTML,并恢复阅读顺序。版面理解、文字识别、公式识别和表格重建均由单一视觉语言模型完成,无需额外部署版面检测器或 OCR 引擎。2B 适合资源有限场景,4B 在拍照、翻拍等退化页面表现更优,在公式和表格解析方面端到端领先。
作者基于此前多次 OCR 横评经验,介绍百度文心团队开源的 Unlimited OCR 2。作者实测 1665 页《平凡的世界》图片版 PDF,40 分钟完整解析,3623 页《哈利·波特》也只需 90 分钟。其核心创新是 SR-SWA(稀疏参考滑动窗口注意力),通过 Page Gate 划定相关页面、Token Sieve 挑选 top-k 视觉块,使每步计算量不随页数增长;配合无限解码机制,百页文档峰值显存从 47GB 降至 1.77GB。与全注意力相比快 7 倍,在 MarathonDocBench 上保持 SOTA。短板是全局结构信息(如标题层级)保留不足。
文章介绍 DeepSeek V4.1 Flash 大规模推理系统的部署实践与开源推理框架 DeepInfer。系统设定三大目标:兼容多厂商计算芯片、基于通用硬件组织 Prefill 与 Decode(8 卡机 Prefill、64-128 卡超节点 Decode)、支持 KVCache 保留 72 小时以上以实现上下文复用、减少冗余计算。团队通过在计算、通信、调度与存储上的持续优化,在满足延迟要求下提升有效吞吐。DeepInfer 集成高性能算子与深度优化推理引擎,支持分布式推理、投机解码、SWA Bounded Replay 和结构化输出等能力。目前单集群服务吞吐达每天 155 万亿 tokens,整体收入为每卡每小时 38 美元(按低谷价格计)。
MemOS 团队发布全球首个“记忆原生”大模型 MemT-1.0,将记忆能力直接训练进模型权重,取代 RAG、Mem0 等外挂记忆方案。其思路是不改底座、参数冻结,仅在部分层并联约 1.05 亿参数的记忆块,通过蒸馏训练让模型自学“什么该记、什么该忘、怎么取用”,优化目标从检索命中率改为任务答对率。交付物包括通用模型权重(会记笔记的大脑)和用户专属记忆状态文件(仅 40 MiB 的笔记本)。数据显示其 40 MiB 记忆答题成功率 69.73%,略高于全量上下文的 69.13%,存储缩小 66 倍、首字响应快 4.19 倍。已在 Hugging Face 和 GitHub 开源,被视为开启模型“在使用中变强”的第四条技术路线。
乐鑫官方开源了基于 Rust 编写的 esp-emulator,无需实体开发板即可在本地终端或浏览器中模拟运行 ESP32 系列固件。该工具广泛支持 RISC-V 与 Xtensa 架构芯片,模拟 CPU 指令集、PMP/PMA、MMU 等;完整仿真 Wi-Fi、BLE、Thread 无线协议栈,支持用户态 NAT、mDNS 重写与 Mesh 网络。它可无缝嵌入现有工作流,支持 UART 桥接烧录、GDB 远程调试与 Perfetto 跟踪,还提供 WebAssembly 版本实现零安装体验,是固件 CI/CD 与协议验证的利器。
作者开源了一个 Agent Skill「chatgpt-fanout-queries」,用于追踪 ChatGPT 回答前的搜索过程。文章指出 Query fan-out 是 GEO(生成式引擎优化)的重要视角,模型会把用户问题展开成多个搜索词,页面能否被引用取决于是否命中这些展开需求。该 Skill 通过调用 Responses API 并开启 Web Search,保存原始响应,提取搜索词、工具调用、来源 URL 和最终引用,区分搜索来源与答案引用,并生成 JSON、CSV、Markdown 及可离线打开的 HTML 报告。文章还以 best ai ppt maker 为例演示实际效果,说明其在补齐主题覆盖、发现内容缺口、调整内容结构、排内容优先级等营销场景的用法。
作者岚叔宣布将自研的 macOS 截图工具 QuickShot 正式开源。该工具支持悬停识别窗口、彩虹轮廓高亮截图、圆角外透明等特性;内置十种标注方式,支持二次编辑、移动、改色和无限撤销重做;提供署名美化、渐变背景、多种比例设置并可保存为默认样式;还具备多图拼接、窗口置顶贴图、本地 OCR 文字识别等功能。所有截图和文字均在本地处理,不上传、无需账号,注重隐私。文末附官网、下载和源码地址,邀请用户体验、Star 和提建议。
这是一篇关于微调小型LLM的完整实战指南。作者指出不需要70B大模型或昂贵算力,1.5B参数模型在200-500个优质样本上微调后,可在特定任务上超越通用提示的前沿模型。文章以商业融资文案生成为例,详细讲解了微调的实际目标、建立基线(纯提示、RAG、微调)的先后顺序,并分步骤介绍了小型基座模型选择(如Qwen2.5-1.5B)、数据权利合规、可复现数据下载、PDF文本提取与OCR、文本清洗、训练数据集构建、QLoRA训练、评估与部署,每一步均附完整代码。
文章介绍了 Vercel 开源的实验性 coding agent fx:用 Zig 编写,编译产物仅约 6MB,无 Node 运行时依赖。它既是终端 CLI 工具,也是可嵌入的 agent 运行时(libfx,支持 Node、浏览器等宿主)。内置 17 个工具,其中 shell 支持跨轮次持久会话交互,subagent 支持常驻持续对话。权限系统采用三档基线,auto 模式下由审查器针对性识别 prompt injection 和恶意行为。会话自动压缩上下文并支持 checkpoint 恢复。模型层不绑定任何厂商,支持 AI Gateway、OAuth 及自定义 OpenAI 兼容端点。项目把启动延迟(2ms 预算)、二进制体积门禁和渲染可复现性写进 CI,作为产品约束,设计理念独特。
本文介绍如何构建一个带引用溯源的文档问答Agent(Grounded Document Agent)。核心问题是PDF解析质量决定答案上限:双栏排版、表格、图表等常被错误扁平化。项目使用LlamaParse在云端进行布局感知的Markdown解析并保留页码元数据,随后通过Ollama本地运行nomic-embed-text生成向量索引,配合CitationQueryEngine检索最相关的段落并生成带编号引用的答案。解析结果按文件哈希缓存以节省成本。界面展示页码、检索文本和相关度评分,让用户可检验引用背后的原始证据,区分解析、检索或生成阶段的错误。