Регистрация
Вход
Инструменты Проверка основных редиректов
Лимитов нет. Авторизуйтесь!

Проверка основных редиректов сайта

Убедитесь, что все возможные технические дубли страниц сайта "подклеены" к основным версиям страниц с помощью редиректов (или хотя бы недоступны).

Основной адрес сайта
User-Agent
Googlebot Smartphone
Googlebot Smartphone
Googlebot Desktop
YandexBot
BingBot
Yahoo !Slurp
Baidu Spider
Мой браузер
Проверить сайт
20 лимитов

Как работать с инструментом

Для быстрого ознакомления с работой инструмента мы записали инструкцию с примером его использования для конкретного сайта.

Схема — Как технические дубли страниц влияют на продвижение сайта.

Почему дубли страниц нужно закрывать

Наличие дубля страницы на сайте может привести к тому, что в поиске перестанет показываться её основная версия, вместо неё начнет показываться не «подклеенная» к ней копия. Это означает разделение между этими версиями страницы критически значимых для продвижения показателей (таких как внешние ссылки и поведенческие факторы), а также к неточностям в статистике.

Что делает инструмент

Сначала инструмент проверяет доступность введённого вами адреса сайта, а затем происходит перебор и проверка всех зеркал сайта и потенциальных дублей главной страницы. Также мы парсим базовый HTML главной страницы, находим там ссылки на внутренние страницы сайта (1 и 2 уровня вложенности) и проверяем доступность в том числе и их технических дублей.

Схема — Как работает инструмент проверки основных редиректов сайта.

Какие типы технических дублей проверяются

Обнаруживаем технические дубли страниц создаваемые из-за различных технических особенностей организации сайтов:

  • зеркала сайта с www / без www
  • зеркала сайта с http / с https
  • страницы со слэшем на конце / без слэша
  • индексные файлы разделов (вроде index.html)
  • заглавные буквы в URL вместо строчных
  • прямое обращение к ip-адресу сервера
  • ошибки роутинга (отсутствие 404 ответа)
  • смена порядка слагов в URL
  • смена HTML-формата на другой

Когда нужно менять User-Agent

Иногда при попытке проанализировать сайт наши боты могут быть заблокированы сервером, на котором находится ваш сайт или сервисами защиты от парсинга вроде CloudFlare. Чтобы избежать блокировки вы можете выставить в инструменте необходимое значение User-Agent (имени бота) и настроить для него исключение блокировки.

Схема — Почему нужно менять User Agent при парсинге сайта.

Если при проверке возникли ошибки

Чтобы понять причину возникновения ошибки в работе инструмента воспользуйтесь этой табличкой:

ОшибкаВозможная причинаКак устранить
Некорректный адрес сайтаКод ответа сервера у введённого адреса сайта не равняется 200.Откройте сайт в браузере, подождите пока он начнёт отрисовываться и затем скопируйте URL из адресной строки браузера и вставьте её в поле "Основной адрес сайта" сервиса.
Не получен код ответа сервераЛибо сервер очень долго отвечает на запросы, либо на сайте настроена блокировка парсинга.Обратитесь к разработчиком сайта за снятием блокировки парсинга, либо переездом на более мощный хостинг (поисковому боту тоже будет не спарсить ваш сайт).
Не проверяются внутренние страницыСсылки на внутренние страницы отсутствуют в HTML главной страницы.Если ваш сайт работает на JS, то советуем настроить пререндеринг HTML. Дело в том что внутренние ссылки не видим не только мы, но и Яндекс.

Популярные вопросы

Можно ли проверить чужой сайт?

Да, мы не проверяем являетесь ли вы владельцем сайта. Это сделано чтобы упростить работу пользователей сервиса.


Но не стоит пытаться создать повышенную нагрузку на сервер конкурента через наш инструмент, так как он бережно относится к создаваемой нагрузке на сайт при проверке.

Что произойдет, если попадется цепочка редиректов?

При попадании на цепочку редиректов инструмент повторяет логику действий поисковых роботов: обходит только 5 первых редиректов в цепочке.

Как исправить обнаруженные ошибки на сайте?

Настройте 301 редиректы с основых зеркал сайта и обнаруженных инструментом дублей страниц. А также корректно настройте 404 ответ сервера для несуществующих страниц, в нашем сервисе для проверки несуществующих страниц используются проверочные URL оканчивающиеся на /4815162341/ и /a1b2c3d4/.

Учитывает ли инструмент rel=canonical?

Да, инструмент учитывает содержимое тегов и заголовков rel=canonical. Но так как для поисковых систем это является всего-лишь рекомендацией, а не строгой директивой как 301 редирект или 404 ответ сервера, то он показывает технические дубли страниц закрытые через rel=canonical как предупреждения (их лучше перепроверить вручную).

Рейтинг одобрения

— 5 из 5, на основе 16 отзывов пользователей
Илья Горбачев - SEO-специалист и автор инструментов Rocket Tools.
Первую сборку инструмента проверки редиректов создавал под себя, чтобы каждый раз не тратить время на то, что можно автоматизировать и делать в два клика. Спустя время наша команда сделала инструмент настолько мощным, что повторить его работу вручную теперь почти нереально.