Dmitriy_2014

Dmitriy_2014
Рейтинг
370
Регистрация
01.07.2014
Интересы
Веб-технологии
Biomusor #:

Данные ссылку могут быть взяты как внешние, если рукопопый парсер тащит статьи

Но в целом это работа движка WordPress и нормальное явление как я понял. И их никак не убрать кроме редиректа.
Volovikov #:

А редиректы стоят? Может потому, что код 200? Проверить код можно тут be1.ru/dubli-stranic/

Нет редиректов нету, отдается с кодом 200, как обычная страница, я знаю про редиректы видел ссылку которую сверху показывали, но делать их не хочу, ладно похоже так это работает, может они со временем сами уйдут в следствии каноникал и запрета в роботс.тхт.
Delysid #:

Проиндексируй ситемап сайта, если этих нет страниц в sitemap то создай сам новый sitemap с правильными ссылками и проиндексируй. Поисковики выкинут из поиска неправильные  страницы со временем, не надо их удалять.

? - пустой параметр, он сайт по производительности не сильно портит. 

В роботс напиши вариант для яндекса (но это надо перепроверить по сайту): Clean-param: ?

В sitemap.xml нету таких ссылок, я тоже думаю забить на это, все равно тут ничего не сделаешь, каноникл они имеют, в роботс.тхт под запретом, я не знаю нафиг он их в базу сует, но думаю что из 4К страниц 20 ссылок с этим знаком вопроса фигня, наверное.
Volovikov #:

Может этот верный.
Disallow: /?
Или такой:
Disallow: /*?

И еще парочка, на всякий.
Disallow: *?s=
Disallow: *&s=

В robots.txt прописан запрет на эти знаки вопроса в разных формах, они работают это подтверждает инструмент Яндекс.Вебмастер что эти страницы запрещены к индексации, зачем он их индексирует непонятно.
Delysid #:

В той ссылке которую ты привёл не должно быть вопроса.

Для вот таких проблем и создан sitemap и canonical.

Так я согласен.

Так есть sitemap и canonical, эти страницы они в базе Яндекс.Вебмастер, но и вреальности если на них зайти со знаком вопроса открывается страница, в ней canonical на нормальную страницу, если пробить их через инструмент Яндекс.Вебмастер – Разрешены ли URL? - Ссылка запрещена директивой Disallow: /*/*?

А да, я посмотрел другие страницы URL, добавив им в окончания после слеша знак вопроса /?, то любая страница такая открывается с canonical на нормальную, да походу это движок.

Я думал может плагины или еще что-то, фиг знает так должно быть походу, но некоторые такие страницы как дубли попадают в базу Яндекса. Причем их удалить нельзя т.к. при попытке добавления на удаление, Яндекс пытается удалить нормальную страницу со статусом – Откланено, вместо удаления этих ссылок которые с окончанием на знак вопроса.
Vladimir SEO #:

взял название темы вбил в гугл и вуаля


Да, я понимаю что это строка запроса, что это для передачи параметров, данных с запросом в строке, НО там просто знак вопроса ?, и все пустая строка, там нету никаких параметров ничего, там пустата, просто один знак вопроса.
А, да, вот, ещё что хотел спросить – А имеет ли это все хоть какой-то смысл удалять застрявшие и почему-то не удалившиеся страницы ошибок 404, какие-то дубликаты и т.п. страницы которые попали в поисковую базу Яндекса и застряли там, ну то есть это принесет какой-то профит, в виде улучшения позиции, посещаемости или типа того?

Действительно нормальные страницы получают Статус – Отклонено.

И почему-то когда копируешь в форму ссылку с окончанием /kak-varit-borsh/? то он пытается удалить нормальную страницу без окончания /?, естественно знаки вопроса запрещены в robots.txt, но у них в базе почему-то такие страницы есть, хотя их же инструмент проверки Анализ robots.txt говорит что да эти страницы - Ссылка запрещена директивой Disallow: /*/*?.
Ладно, всем спасибо за ответы, я в общем и целом понял, нормальная страница не удалится, а если вдруг удалится, то через три недели восстановится.
Антоний Казанский #:

Смотря что считать лишним.

Формально бесполезные страницы в индексе хранить не нужно.

Ну вот как в Яндексе, который по полгода хранит 404-е страницы в своей базе, например.
Всего: 2000