Wiki 知识库

全部文档 / 标签: AI爬虫

3 篇
清除

重磅开源GEOInflow:面向GEO的网站与AI爬虫分析系统

作者姚金刚宣布开源GEOInflow,一套面向GEO(生成式引擎优化)的网站与AI爬虫分析系统,MIT协议,基于Umami开发,支持Docker一键部署。系统将网站访客、AI搜索引荐、服务器抓取日志和内容目录放在同一上下文中,可识别61种AI爬虫(OpenAI、Anthropic、Perplexity、百度等)及其访问目的,追踪AI搜索带来的会话与转化,并提供PV/UV、事件漏斗、热力图等完整网站统计。核心统计无需模型API Key,默认无Cookie采集,数据留在自有服务器。

技术 › 工具与效率 姚金刚 2026-10-264.4 KB 73

使用AITDK检测网站的GEO问题

文章介绍如何使用AITDK插件检测网站的GEO(生成式引擎优化)问题。GEO Score分为五部分:AI爬虫访问、机器可读性、结构化数据、内容可引用性、信任与E-E-A-T。作者建议检查robots.txt确保AI爬虫可正常抓取,完善title/H1/sitemap等SEO基础并添加llms.txt,配置FAQPage等结构化数据,采用问答式内容结构提升可引用性,以及补充作者信息与权威来源增强可信度。研究表明添加可靠引用可使生成式回答中的可见性提升约40%。

技术 › 工具与效率 droidHZ 2026-08-275.5 KB 12.5K 37 77

AI爬虫:让Agent真正“看见”世界

文章阐述了传统爬虫与AI爬虫的区别,指出AI爬虫能渲染JS、绕过反爬并提供LLM友好的Markdown/JSON数据,是Agent实现决策闭环的关键。文章详细介绍了Firecrawl、XCrawl、Scrapling及Crawl4AI这四款工具,分析了它们的优势、劣势及实战应用场景,旨在帮助开发者选择合适的工具以强化AI Agent的数据获取能力。

技术 › Agent omegaAI 2026-05-023.7 KB 35.9K 84 69