Гугл - сканировании сайта на ошибки

Disallow: */feed/

Этим мы говорим роботу, что какая бы папка не встречалась, после которой будет /feed/, нужно её закрывать.

Пример:

site/cat/feed/

site/razdel/feed/

и т.п.

Если у тебя cms какая-то определенная, то ты можешь в интернете найти шаблон robots.txt для определенной cms, а после посмотреть, какие у тебя ошибки и добавить

Спасибо.

Эти ошибки как то влияют на ранжирование сайта в выдачи? Или это гугл просто меня уведомляет что "мол вот эти ссылки если вы не в курсе - отсутствуют"?

neznakomec, В большинстве случаев такие страницы являются дублями основных страниц и считаются негативными при продвижении сайта

Cамые распространенные являются

/index.php

/feed

/wp-admin

/admin

/author/

/wp-comments

/wp-login.php

и т.п.

Скажите пожалуйста, а как поступить с такого рода ошибками?

StaroverovMax, попытаться понять, почему они происходят.

почему в урл присутсвуют фрагменты кодировки percent encoding

По той причине, что ссылки на эти страницы разошлись по интернету, но не везде кодировка оказались правильной..😒

разве это не скрин внутренних ошибок индексирования?

Никак. Роботс для гугла запрещает только сканировать, а не удалить из индекса.

Может у кого есть ещё идеи, как запретить или правильно редиректить эту фигню с %Fcnt%...?

P.S. Извиняюсь, что в чужом топике, но ведь и смысла нет плодить подобное)

В принципе, проблема в том, что некоторые площадки неправильно обрабатывают символы в урл. Может есть возможность а httpaccess прописать именно замену символов, хотя не уверен, что это возможно..