Директивы disallow и allow

Disallow

Disallow – директива, запрещающая индексацию каких-либо страниц, разделов, подразделов, отдельных файлов и т.д. в файле robots.txt.

Это наиболее часто используемая директива, она используется при необходимости исключить из индекса следующие данные:

• страницы с результатами поиска на сайте;
  

• данные посещаемости ресурса;

• страницы с конфиденциальными данными;

• страницы, содержащие персональные данные пользователей;

• разные логи;

• сервисные страницы баз данных;

• дубли страниц.

Примеры директивы Disallow:

• Закрыть весь сайт от индексации:

Disallow: /

• Запретить обход страниц, адрес которых начинается с /category:

Disallow: /category.

Для страниц, которые нужно закрыть от индексации, если их адреса содержат GET-параметры, желательно использовать директиву Clean-param, а не Disallow. 

Причина заключается в том, что при использовании Disallow могут быть не выявлены дублированные адреса ссылки без параметра, и переданы какие-либо показатели запрещенных страниц. Директива Clean-param работает только для роботов Яндекса.

Allow

Окончательное решение о посещении сайта принимают поисковые роботы, но эта директива дополнительно призывает их.

Примеры директивы allow:

Открыть доступ к индексированию определенной HTML страницы:

Allow: /page.html 

Совместное применение директив

Поисковые системы используют Allow и Disallow из одного User-agent блока последовательно, сортируя их по длине префикса URL, начиная от меньшего к большему. 

Если для конкретной страницы веб-сайта подходит применение нескольких правил, поисковый бот выбирает последний из списка. Поэтому порядок написания директив в robots никак не сказывается на их использовании роботами.
При этом следует помнить, что, если директивы имеют одинаковую длину префиксов и при этом конфликтуют между собой, то предпочтительнее будет Allow.

Услуги, связанные с термином:

• Поисковое продвижение (SEO)
• Аудит сайта
• SEO по трафику
• SEO-оптимизация