🏷️ 数据抓取

AI爬虫：让Agent真正“看见”世界

文章阐述了传统爬虫与AI爬虫的区别，指出AI爬虫能渲染JS、绕过反爬并提供LLM友好的Markdown/JSON数据，是Agent实现决策闭环的关键。文章详细介绍了Firecrawl、XCrawl、Scrapling及Crawl4AI这四款工具，分析了它们的优势、劣势及实战应用场景，旨在帮助开发者选择合适的工具以强化AI Agent的数据获取能力。

住宅IP检测工具详解：2026最新版，教你5分钟判断IP好坏

本文系统介绍了2026年最新的住宅IP检测工具与方法，旨在帮助用户筛选纯净、稳定的住宅IP。文章从欺诈风险评分（如IPQS、Scamalytics）、滥用报告（AbuseIPDB）、IP类型识别（ipinfo）、匿名性检测（Whoer）及性能测试五个维度进行详细解析。文中不仅提供了各项指标的具体合格标准（如欺诈分数<25），还总结了一套高效的5分钟快速检测流程，并建议结合指纹浏览器使用以确保IP质量。

用 Claude Code 和 XCrawl 学习 Twitter 大V观点

文章介绍了一种利用 XCrawl 工具结合 Claude Code，从 X（Twitter）批量抓取并分析大V（如 Karpathy）观点的方法。通过将 XCrawl 封装为 Skill，用户只需自然语言指令即可完成搜索、抓取、分类和报告生成，高效建立行业知识库。

为了让 AI 管家学会交易，我直接爬取了 42万字投资大佬的文章喂给它

作者为了训练自己的 AI 管家“贾维斯”掌握 Web3 投资技能，利用 XCrawl 爬虫工具批量抓取了投资大佬 Chris Dixon 的 42 万字博客文章，并将其转化为干净的 Markdown 数据喂给 AI。文章详细介绍了从数据采集、清洗到 AI 学习框架构建的全过程，展示了如何利用 AI Agent 吸收专家知识并进行投资策略分析。