Wiki 知识库

全部文档 / 标签: 网页抓取

3 篇
清除

又一个Agent联网神器,不要API Key,搜索抓取全在本地跑

文章介绍了开源工具wigolo,一款本地优先的AI Agent联网工具,集搜索、网页抓取、整站爬取、结构化提取、缓存、相似页面匹配、研究报告和自主Agent循环等10种能力于一体,全部在本地运行,无需API Key、注册或额度审批。作者对比了Firecrawl、Tavily等云端API的额度限制问题,指出wigolo通过本地化彻底消除了额度焦虑,并强调了数据隐私优势:查询记录不出本机,适合保密项目。项目开源、测试覆盖充分、维护活跃,安装仅需一行命令。

技术 › Agent Jimmy Revived 2026-08-305.6 KB 74

修复 Claude Code 的两大盲点:网页抓取与后端集成

文章指出 Claude Code 在网页抓取和后端集成(如 Supabase)方面存在两个主要盲点,导致 Token 消耗巨大且效率低下。作者介绍了两个开源工具来解决这些问题:Bright Data 负责高效抓取网页数据(包括 JS 渲染和反爬虫页面),InsForge 则作为后端上下文工程层优化数据库交互。作者演示了如何结合这两个工具,仅用一个 Prompt 就基于 YouTube 教程成功构建了一个包含 Google OAuth 和 AI 聊天功能的 Google Docs 克隆应用。

技术 › Agent Akshay 2026-05-047.5 KB 209.4K 229 82