Метатег robots и HTTP-заголовок X-Robots-Tag
- прописать метатег robots в HTML-коде страницы в элементе head;
- настроить HTTP-заголовок X-Robots-Tag для определенного URL на сервере вашего сайта.
По умолчанию метатег и заголовок учитываются поисковыми роботами. Можно указать директивы для определенных роботов.
Поддерживаемые Яндексом директивы
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. |  | |
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | | |
| none | Соответствует директивам noindex, nofollow. | | |
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | | |
| noyaca | Не использовать сформированное автоматически описание. | | — |
| index | follow | archive | Отмена соответствующих запрещающих директив. | | — |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | | — |
| Директива | Описание | Метатег robots | Заголовок X-Robots-Tag |
|---|---|---|---|
| noindex | Не индексировать текст страницы. Страница не будет участвовать в результатах поиска. | | |
| nofollow | Не переходить по ссылкам на странице. Робот не перейдет по ссылкам при обходе сайта, но может узнать о них из других источников. Например, на других страницах или сайтах. | | |
| none | Соответствует директивам noindex, nofollow. | | |
| noarchive | Не показывать ссылку на сохраненную копию в результатах поиска. | | |
| noyaca | Не использовать сформированное автоматически описание. | | — |
| index | follow | archive | Отмена соответствующих запрещающих директив. | | — |
| all | Соответствует директивам index и follow — разрешено индексировать текст и ссылки на странице. | | — |
Разрешающие директивы используются роботом по умолчанию, поэтому их можно не указывать, если нет других директив. В сочетании с запрещающими директивами разрешающие имеют приоритет. Пример.
Роботы других поисковых систем и сервисов могут иначе интерпретировать директивы.
Пример:
Запись, которая запрещает индексирование страницы.
<html>
<head>
<meta name="robots" content="noindex" />
</head>
<body>...</body>
</html>HTTP-ответ, где заголовок запрещает индексирование страницы.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindexУказание нескольких директив
Вы можете указать директивы через запятую.
<meta name="yandex" content="noindex, nofollow" />Вы можете передать несколько заголовков в одном ответе, а также перечислить директивы через запятую.
HTTP/1.1 200 OK
Date: Tue, 25 May 2010 21:42:43 GMT
X-Robots-Tag: noindex, nofollow
X-Robots-Tag: noarchiveЕсли для робота Яндекса указаны противоречивые директивы, то он учтет положительное значение. Пример с директивами метатега:
<meta name="robots" content="all"/>
<meta name="robots" content="noindex, follow"/>
<!--Робот выберет значение all, текст и ссылки будут проиндексированы.-->
<meta name="robots" content="all"/>
<meta name="robots" content="noarchive"/>
<!--Текст и ссылки будут проиндексированы, но в результатах поиска не будет ссылки
на сохраненную копию страницы.-->Указания для определенных роботов
Указать директиву только для роботов Яндекса можно с помощью метатега robots. Пример:
<meta name="yandex" content="noindex" />Если вы перечислите общие директивы и директивы для роботов Яндекса, то поисковая система учтет все указания.
<meta name="robots" content="noindex" />
<meta name="yandex" content="nofollow" />Такие директивы робот Яндекса воспримет как noindex, nofollow.
