Wiki 知识库

不想让 Google 抓到线上测试站,我用 Cloudflare 加了一道门

饭特稀 | Fentix 2026-09-02 11.0 KB 981

作者分享如何通过 Cloudflare Workers Access 的 IP 白名单机制保护线上测试站,避免其被 Google 抓取和索引。文章指出 robots.txt 和 noindex 的局限:robots.txt 无法防止 URL 被收录,noindex 则需要允许爬虫先访问页面。作者解释了测试站被索引带来的 SEO 问题,包括规范页误判、搜索信号分散、搜索结果自我竞争和抓取资源浪费。通过在 Cloudflare 边缘层配置访问策略,仅允许固定出口 IP 访问,从访问层面隔离测试站。文章还提醒了固定 IP 变动、不替代正式权限系统、存量索引处理等注意事项。

游客免费额度已用完

未登录每月可读 5 篇已用尽。登录/注册后再获 5 篇免费额度,注册不收费。

登录 / 注册