google_robots_allow
Директива google_robots_allow позволяет или запрещает доступ определённым пользовательским агентам к зеркальному сайту Google.
Описание
Директива google_robots_allow используется для управления доступом различных пользовательских агентов — в частности она определяет, разрешено ли определённым ботам, включая краулеры Google, доступ к ресурсам, предоставляемым зеркалом Google, созданным с помощью ngx_http_google_filter_module. Директива принимает один аргумент, который должен быть логическим значением, указывающим, разрешать ('on') или запрещать ('off') доступ указанным пользовательским агентам. Это может быть особенно полезно для веб-мастеров, которые хотят оптимизировать то, как поисковые системы индексируют их материалы в этом зеркальном формате.
При значении 'on' ботам Google разрешается сканировать и индексировать страницы зеркального сайта. Напротив, при значении 'off' доступ этим поисковым краулерам будет запрещён, что эффективно предотвращает индексирование контента. Такое поведение определяется во время обработки запроса: сервер проверяет конфигурацию относительно входящих запросов от известных пользовательских агентов. Это даёт возможность более точно контролировать взаимодействие зеркального сайта с поисковыми системами, влияя на результаты SEO и согласуясь со стратегиями распределения контента по сетевым платформам.
Пример конфига
location / {
google on;
google_robots_allow on;
}Отсутствие настройки этой директивы может привести к нежелательной индексации поисковыми системами и повлиять на SEO.
Неумышленная установка этой директивы в 'off', когда вы хотите разрешить обход поисковыми роботами, может ухудшить видимость сайта в результатах поиска.