Gerador Yandex Clean-param
Baixe a lista de páginas excluídas do Yandex e obtenha o valor da diretiva Clean-param para o arquivo robots.txt.
Perguntas Frequentes
A ferramenta coleta todos os parâmetros de URL para uma lista de páginas e gera uma diretiva Clean-param com esses parâmetros para serem especificados no arquivo robots.txt.
Especificar o parâmetro Clean-param no arquivo robots.txt impede que páginas tecnicamente duplicadas apareçam no Yandex, mesclando-as com as páginas principais (que não possuem esses parâmetros na URL).
Além disso, isso permite que o robô de busca do Yandex reduza o tempo necessário para analisar páginas com os parâmetros listados, o que pode diminuir a carga no servidor (onde o site está hospedado) e também permite que o robô de busca utilize seu orçamento de rastreamento em páginas mais relevantes para a promoção.
Obtenha uma lista das páginas do seu site com parâmetros no Yandex Webmaster: na seção "Páginas na Pesquisa", selecione o site e clique na guia "Páginas Excluídas" abaixo do gráfico. Baixe esta tabela (XLS ou CSV) usando o botão abaixo e copie a lista de páginas resultante para a nossa ferramenta.
Se o seu site foi criado recentemente ou adicionado ao Yandex Webmaster, você pode simplesmente inserir o endereço como uma página com parâmetros e, em seguida, usar a visualização de diretivas avançadas com parâmetros populares.
Adicionar uma diretiva Clean-param formatada corretamente ao arquivo robots.txt do Yandex ajuda a evitar páginas com parâmetros duplicados e a melhorar a eficiência da indexação pelo mecanismo de busca.