Отправка страниц через IndexNow (переобход в Яндексе)
Отправляйте на сканирование поисковыми роботами большое количество страниц по протоколу IndexNow, который поддерживает Яндекс и другие поисковые системы.
Как получить ключ
Для получения ключа просто создайте у себя в корневой директории сайта текстовый файл (.txt), использовав секретное название вроде 06ffeeed4245cb8f4b6b1c2094 (от 8 до 128 символов, среди которых только буквы латиницы, цифры или дефис). Укажите этот же секретный код в качестве содержимого файла. И затем используйте его в нашем инструменте в качестве ключа!
Как это работает
Сервис отправляет ваши страницы выбранным поисковым системам на сканирование, используя протокол IndexNow. Если поисковым системам «понравится» отправленный URL, то они просканируют его текущее содержимое исходя из логики планирования обхода контента и имеющейся у квоты (краулингового бюджета) для вашего сайта.
Зачем это нужно
Во-первых для ускорения индексации: чем быстрее ваши страницы попадут в поисковые системы, тем быстрее вы получите поисковый трафик. Во-вторых для ускорения деиндексации: возможно в поиск попали страницы которые вы хотели бы оттуда исключить как можно скорее. В-третьих для ускорения учета изменений на сайте: когда вы улучшили страницы и хотите чтобы поисковые системы оперативно учли эти изменения.
Популярные вопросы
IndexNow — это открытый протокол для уведомления поисковых систем о последних изменениях содержимого сайта. Он позволяет сообщить о том, что содержимое по отправляемому URL-адресу было добавлено, обновлено или удалено, в результате чего поисковая система сможет быстро учесть эти изменения в результатах поиска. Протокол является независимым (не принадлежит какой-либо поисковой системе).
Да, протокол IndexNow имеет технические ограничения в 10 000 URL за один запрос. Если вам нужно отправить большее количество URL, то разбейте имеющийся список на группы по 10 000 и отправляйте их последовательно (при параллельной отправке протокол может начать выдавать нам ошибку «HTTP 429 Too Many Requests»).
Отправка страни через IndexNow гарантирует, что поисковые системы узнают об изменениях на вашем сайте. Но его использование не гарантирует, что поисковые системы будут выполнять обход полученных URL и они будут проиндексированы. Также часто требуется время, чтобы все изменения были учтены поисковыми системами.
Да, вы можете отправлять несуществующие страницы сайта (с кодом ответа 404 или 410), чтобы ускорить их деиндексацию. Также вы можете отправлять URL-адреса с перенаправлениями (кодом ответа 301, 302, а также с тегом meta refresh), чтобы уведомить поисковые системы о переносе содержимого страниц.
Да, если на обоих сайтах вы используете один и тот же ключ, то можете отправить их URL вмесе.
Ключ имеет смысл сменить в случае, если он был скомпроментирован. Если о нем узнают ваши конкуренты, то они смогут манипулировать сканированием вашего сайта или просто заспамить протокол IndexNow, делая невозможным его использование для сайта.
Поисковые системы будут стараться не обходить каждый раз файл с ключом, однажды его загрузив и подтвердив право владения сайтом. Если же они получат новый ключ, то обязательно его обойдут.
Нет, каждый поддомен воспринимается как отдельный сайт и также должен содержать ключ. Если ключ размещен только на site.ru, то у вас не получится отправить страницы поддомена spb.site.ru.
Не стоит отправлять один и тот же URL-адрес более одного раза за сутки. Если страница снова была изменена, то желательно подождать хотя бы 10 минут перед её повторной отправкой в поисковые системы. Если же страницы сайта являются динамическими и обновляются регулярно (например, страница спортивного матча), то предпочтительно не использовать IndexNow для уведомления о каждом изменении.
Да, зачастую он необходим несмотря на наличие XML карты сайта. И хотя автообновляемая XML карта сайта является наиболее популярным способом уведомлять поисковые системы об изменениях содержимого сайта, зачастую поисковые системы редко обходят её и могут гораздо быстрее узнать об изменениях именно через протокол IndexNow.
Да, обход каждого URL отправленного через IndexNow расходует имеющийся краулинговый бюджет сайта. Используя данный инструмент вы просто дополнительно уведомляете поисковые системы о том, что указанные URL нужно обойти в первую очередь.
Отличная возможность обойти органичения по суточному добавлению страниц в индексы поисковых систем (например, такое ограничение есть в Яндекс.Вебмастере). Незаменимый инструмент в случае если скорость индексации страниц имеет для вашего сайта решающее значение.