Ускорение индексации сайта: способы

О чем эта статья?

Время чтения: 8 минут.

Индексация сайта – это процесс внесения в индекс поисковых систем данных о новом сайте либо страницах, а также обновленном контенте Однако, часто бывает так, что сайт не индексируется в Яндексе, Гугле и других ПС.

В статье мы разберемся, почему иногда сайт плохо индексируется в поисковых системах. Нужно помнить, сколько индексируется сайт в каждой ПС - у каждой из них существуют свои апдейты.

А также расскажем, какие существуют действенные способы и сервисы ускорения индексации. 

Почему не индексируется сайт?

Проблемы с индексацией сайта бывают трех типов:

• Страницы вообще не индексируются.
• Страницы не индексируются только одним поисковиком.
• Страницы долго индексируются.

Страницы сайта не индексируются нигде

• Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.
• Также запрет может быть в HTTP-заголовке X-Robot-Tag, который находится в файле конфигурации сервера. Проверить запрет через X-Robots-Tag можно в инструменте сервиса PRCY бесплатно. Доступно 5 лимитов.

Если сайт не индексируется одним поисковиком

Если вы хотите узнать и понять, почему сайт не индексируется в google, или Яндекс, или других поисковиках - тогда стоит проверить сайт на фильтры проблемной поисковой системы.

Существует множество способов:

• Уведомления о санкциях в ЯВМ и ГСК.
• Сервис Be1: легко проверяется без регистрации.
• Сервис "Пиксель.тулс" – инструмент проверки санкций.
• Анализ ИКС сайта (только для Яндекса, аннулируется при фильтрах)
• Анализ трафика и страниц в индексе (резкий обвал одной из ПС).

Если страницы индексируются, но долго

Возможно, контент редко обновляется, поэтому роботы редко его посещают.

Здесь уместно будет вспомнить высказывание Дж.Мюллера из Google: «Лучший способ улучшить процесс индексирования — создавать превосходный, а значит убедительный и уникальный контент».

Это означает, что нужно следовать основным простым правилам:

• Проверить качество и уникальность контента. Страницы с контентом нужно постоянно обновлять, улучшать, в соответствии с новыми алгоритмами ПС.
• Обновлять контент и делать хорошую внутреннюю оптимизацию.
• Проверить внутреннюю перелинковку.

Способы ускорения индексации

robots.txt

• Настроить индексацию в robots.txt таким образом, чтобы исключить дублирование страниц и исключить из обхода все служебные разделы сайта, не содержащие информации для пользователей.
• С помощью тегов Noindex и Nofollow закрыть конкретные ссылки и документы, которые не должны попасть в базу поиска. При этом проверить, не закрыты ли полезные разделы сайта.

sitemap.xml

У карты сайта нужно проверить наличие и правильность составления. Если ее нет – то сгенерировать и отправить в ЯВМ и ГСК.

Прописать дополнительные сведения: дата их последнего обновления (через тег <lastmod>) и приоритет, определяющий очередность внесения их в индекс (через тег <priority>).

Переобход страниц

• В Вебмастере: через «Индексирование — Переобход страниц».
• В Гугле: через проверку урла в индексе и стандартную отправку, либо массовую отправку урлов через ГИАПИ. Как настроить ГИАПИ - читайте здесь.

Обновление контента

Когда материал обновляется, добавляется часто, вы приучаете роботов к постоянным изменениям на сайте. Таким образом, они запоминают график обновлений и начинают посещать ресурс, как по расписанию, чтобы быстро проиндексировать добавленный контент.

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое.

Пинг-сервисы

Пинг-сервисы также называют Update Services или «агрегаторами слежения». Существуют специальные сервисы, к которым можно подключить свой ресурс, чтобы они сообщали Яндексу и Google о новом контенте. Это позволит ускорить индексацию. Чем раньше роботы узнают о внесенных изменениях, тем быстрее их просканируют и добавят в индекс.

Для веб-сайтов на WordPress они работают по умолчанию.

Таких сервисов очень много, например:

pingler.com

pingomatic.com

Ссылки внешние

• Найти сторонние сайты по тематике, где можно оставлять ссылки или публиковать посты, и размещать ссылки на новые материалы. Оставляя бэклинки на сторонних ресурсах, вы повышаете ссылочную массу своего сайта и одновременно ускоряете его индексацию в поисковиках. Чем авторитетнее и популярнее площадка, тем чаще ее посещают Яндекс- и Гугл-боты.
• Анонсировать выход нового контента в соцсетях компании. Для Яндекса более важны Вконтакте и Одноклассники, Google ориентируется в основном на западные соцсети.
• Построение PBN-сетей с использованием дроп-доменов.

Перелинковка

На сайте не должно быть страниц-сирот, оторванных от других. Если на страницу не ведут ссылки с других категорий, разделов, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования.

Нужно встроить их в структуру сайта. Желательно, чтобы каждая страница имела ссылку с родительской категории, и они были бы соединены и между собой.

Простая навигация

Оптимизировать структуру каталогов и упростить навигацию, чтобы с «домашней» до них можно было добраться максимум в три клика. Ускорить индексацию — значит помочь роботу быстрее обнаружить контент, и уровень вложенности играет здесь не последнюю роль. 

Чем меньше показатель DFI (Click Distance From Index), тем приоритетнее считается страница и тем более ускоренным будет ее внесение в индекс. Поэтому навигация и структура ресурса должны быть простыми и понятными как для пользователя, так и для поисковых роботов.