google_robots_allow
google_robots_allow 指令允许或禁止特定用户代理访问 Google 镜像站点。
NGINX Module for Google Mirror creation
·
location
语法google_robots_allow on | off;
默认值off
上下文location
参数1
说明
google_robots_allow 指令用于控制各种用户代理的访问——具体来说，它决定包括 Google 爬虫在内的某些机器人是否被允许访问由 ngx_http_google_filter_module 创建的 Google 镜像提供的资源。该指令接受一个参数，预期为布尔值，用于指示是否允许（'on'）或拒绝（'off'）对指定用户代理的访问。这对希望优化搜索引擎在此镜像格式下如何索引其内容的网站管理员尤其有用。
当设置为 'on' 时，Google 机器人被允许爬取并索引该镜像站点的页面。相反，若设置为 'off'，则将拒绝这些搜索引擎爬虫的访问，从而有效地阻止它们索引内容。该行为在请求处理期间确定，服务器会将配置与来自已知用户代理的传入请求进行比对。这使得对镜像站点与搜索引擎交互的方式拥有更高的控制权，从而影响 SEO 结果，同时也符合在网络平台上进行内容分发的策略。
配置示例
location / {
google on;
google_robots_allow on;
}⚠
未配置此指令可能导致搜索引擎对站点进行不期望的索引，进而影响搜索引擎优化（SEO）。
⚠
当您希望允许爬取时，误将此指令设置为 'off' 会阻碍站点在搜索结果中的可见性。