Проверка основных редиректов сайта
Убедитесь, что все возможные технические дубли страниц сайта "подклеены" к основным версиям страниц с помощью редиректов (или хотя бы недоступны).
Как работать с инструментом
Для быстрого ознакомления с работой инструмента мы записали инструкцию с примером его использования для конкретного сайта.
Почему дубли страниц нужно закрывать
Наличие дубля страницы на сайте может привести к тому, что в поиске перестанет показываться её основная версия, вместо неё начнет показываться не «подклеенная» к ней копия. Это означает разделение между этими версиями страницы критически значимых для продвижения показателей (таких как внешние ссылки и поведенческие факторы), а также к неточностям в статистике.
Что делает инструмент
Сначала инструмент проверяет доступность введённого вами адреса сайта, а затем происходит перебор и проверка всех зеркал сайта и потенциальных дублей главной страницы. Также мы парсим базовый HTML главной страницы, находим там ссылки на внутренние страницы сайта (1 и 2 уровня вложенности) и проверяем доступность в том числе и их технических дублей.
Какие типы технических дублей проверяются
Обнаруживаем технические дубли страниц создаваемые из-за различных технических особенностей организации сайтов:
- зеркала сайта с www / без www
- зеркала сайта с http / с https
- страницы со слэшем на конце / без слэша
- индексные файлы разделов (вроде index.html)
- заглавные буквы в URL вместо строчных
- прямое обращение к ip-адресу сервера
- ошибки роутинга (отсутствие 404 ответа)
- смена порядка слагов в URL
- смена HTML-формата на другой
Когда нужно менять User-Agent
Иногда при попытке проанализировать сайт наши боты могут быть заблокированы сервером, на котором находится ваш сайт или сервисами защиты от парсинга вроде CloudFlare. Чтобы избежать блокировки вы можете выставить в инструменте необходимое значение User-Agent (имени бота) и настроить для него исключение блокировки.
Если при проверке возникли ошибки
Чтобы понять причину возникновения ошибки в работе инструмента воспользуйтесь этой табличкой:
| Ошибка | Возможная причина | Как устранить |
|---|---|---|
| Некорректный адрес сайта | Код ответа сервера у введённого адреса сайта не равняется 200. | Откройте сайт в браузере, подождите пока он начнёт отрисовываться и затем скопируйте URL из адресной строки браузера и вставьте её в поле "Основной адрес сайта" сервиса. |
| Не получен код ответа сервера | Либо сервер очень долго отвечает на запросы, либо на сайте настроена блокировка парсинга. | Обратитесь к разработчиком сайта за снятием блокировки парсинга, либо переездом на более мощный хостинг (поисковому боту тоже будет не спарсить ваш сайт). |
| Не проверяются внутренние страницы | Ссылки на внутренние страницы отсутствуют в HTML главной страницы. | Если ваш сайт работает на JS, то советуем настроить пререндеринг HTML. Дело в том что внутренние ссылки не видим не только мы, но и Яндекс. |
Популярные вопросы
Да, мы не проверяем являетесь ли вы владельцем сайта. Это сделано чтобы упростить работу пользователей сервиса.
Но не стоит пытаться создать повышенную нагрузку на сервер конкурента через наш инструмент, так как он бережно относится к создаваемой нагрузке на сайт при проверке.
При попадании на цепочку редиректов инструмент повторяет логику действий поисковых роботов: обходит только 5 первых редиректов в цепочке.
Настройте 301 редиректы с основых зеркал сайта и обнаруженных инструментом дублей страниц. А также корректно настройте 404 ответ сервера для несуществующих страниц, в нашем сервисе для проверки несуществующих страниц используются проверочные URL оканчивающиеся на /4815162341/ и /a1b2c3d4/.
Да, инструмент учитывает содержимое тегов и заголовков rel=canonical. Но так как для поисковых систем это является всего-лишь рекомендацией, а не строгой директивой как 301 редирект или 404 ответ сервера, то он показывает технические дубли страниц закрытые через rel=canonical как предупреждения (их лучше перепроверить вручную).
Первую сборку инструмента проверки редиректов создавал под себя, чтобы каждый раз не тратить время на то, что можно автоматизировать и делать в два клика. Спустя время наша команда сделала инструмент настолько мощным, что повторить его работу вручную теперь почти нереально.