Crawl4AI:7万星开源神器把网页秒变LLM能吃的干净Markdown
文章介绍了一款名为 Crawl4AI 的开源爬虫工具,GitHub 星标超 7 万。该工具专为 RAG 和 Agent 设计,能将网页快速转换为干净的结构化 Markdown 数据。其特点包括零 API Key、异步浏览器池、智能去噪、支持 CLI/Docker 部署以及强大的反爬策略,被视为构建 LLM 数据管道的利器。
文章介绍了一款名为 Crawl4AI 的开源爬虫工具,GitHub 星标超 7 万。该工具专为 RAG 和 Agent 设计,能将网页快速转换为干净的结构化 Markdown 数据。其特点包括零 API Key、异步浏览器池、智能去噪、支持 CLI/Docker 部署以及强大的反爬策略,被视为构建 LLM 数据管道的利器。
文章包含两条内容:一是 DeepSeek kernel 工程师 Shengyu Liu 的长文,讲述 AI 已能自主分析 CUDA/PTX/SASS 并优化 kernel,他预判半年到一年内 AI 写的 kernel 可能超过自己,工作将从亲手写代码变为驾驶 Agent,并担忧未来社会走向共产主义或赛博朋克两极,因此选择留在 DeepSeek 推动开源 AI。二是微信团队开源的 WeKnora 框架,已从 RAG 系统进化为企业 Agent 基础设施,提供知识处理、ReAct Agent、Sandbox 执行环境、长期记忆和 Auto-Wiki 能力,代表 RAG 向企业 Agent Context + Runtime 的迁移趋势。
作者为爆火的 DeepSeek Harness(DSH)开发了 Milvus 向量数据库插件 dsh-milvus 并开源。文章解析了 DSH 'Everything is a Plugin' 的微内核架构价值,说明为何将 Milvus 集成做成 Plugin 而非 Skill:Plugin 可硬性限制执行边界(如只读操作、limit 上限),避免模型幻觉带来的风险。文中还给出从 Docker 启动 Milvus、安装 DSH CLI 与插件、配置 Profile 到让 Agent 完成列表、Schema 描述、Scalar Query 和语义搜索的完整实战教程。
DeepSeek Harness(DSH)是 DeepSeek 官方开源的 AI Agent 运行环境,核心理念是「一切皆插件」。文章介绍了如何在 GitHub 和社区清单中发现优质插件,并推荐了多款热门插件:包括让模型理解图片的 ModLens、扩展搜索源的 ModSearch、可操作真实 Chrome 浏览器的 dsh-browser、支持多 Agent 协作的 Agent Teams、插件市场 dsh-market、界面全家桶 dsh-web-ui、侧边栏增强、上下文可视化和生成式 UI 等,帮助用户扩展 DSH 技能并提升使用体验。
Auto Quant V2 发布,旨在将通用 Coding Agent 转换为全自动推进量化研究的 Quant Agent。它不绑定特定模型,通过 Harness 架构为 AI 提供长期工作的量化研究环境,支持自我进化,解决了 AI 编写代码但难以持续追踪量化研究的问题。