Скорость обхода сайта
Роботы Яндекса постоянно индексируют сайты: обходят их и загружают страницы в свою базу.
Скорость обхода сайта — это количество запросов в секунду, которое робот отправляет на ваш сайт.
Настройки по умолчанию
Оптимальная скорость обхода сайта рассчитывается по алгоритмам так, чтобы робот смог загрузить максимальное количество страниц без лишней нагрузки на сервер. Поэтому в Вебмастере по умолчанию включена опция Доверять Яндексу на странице .
Изменение скорости обхода
Снижение скорости обхода сайта может потребоваться, если вы заметили большое число обращений роботов к серверу, на котором находится ваш сайт. Это может увеличивать время ответа сервера и, как следствие, снижать скорость загрузки страниц сайта. Проверить эти показатели можно с помощью отчета Яндекс Метрики.
Перед тем, как изменить скорость обхода сайта, выясните к каким именно страницам робот обращается чаще.
- Проанализируйте логи сервера. Обратитесь к сотруднику, ответственному за сайт, или к хостинг-провайдеру.
- Посмотрите список URL в Вебмастере на странице (установите переключатель в положение Все страницы). Обратите внимание, есть ли в списке технические страницы или страницы-дубли — например, с GET-параметрами.
Если вы обнаружите, что робот обращается к служебным страницам или страницам-дублям, запретите их индексирование в файле robots.txt с помощью директивы Disallow. Это поможет снизить количество лишних обращений робота.
Чтобы проверить корректность установленных правил, используйте инструмент Анализ robots.txt.
- В Вебмастере перейдите на страницу .
- Включите опцию Задать вручную.
- Передвиньте ползунок в нужное положение. По умолчанию он выставлен на оптимальную скорость обхода, рассчитанную для вашего сайта.
- Сохраните изменения.
