不想让 Google 抓到线上测试站，我用 Cloudflare 加了一道门
作者分享如何通过 Cloudflare Workers Access 的 IP 白名单机制保护线上测试站，避免其被 Google 抓取和索引。文章指出 robots.txt 和 noindex 的局限：robots.txt 无法防止 URL 被收录，noindex 则需要允许爬虫先访问页面。作者解释了测试站被索引带来的 SEO 问题，包括规范页误判、搜索信号分散、搜索结果自我竞争和抓取资源浪费。通过在 Cloudflare 边缘层配置访问策略，仅允许固定出口 IP 访问，从访问层面隔离测试站。文章还提醒了固定 IP 变动、不替代正式权限系统、存量索引处理等注意事项。
