Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

Как избавиться от такого???

12
[Удален]
974

Ситуация в следующем:

Сегодня смотрел проиндексированные гуглом страницы и заметил кучу вот таких урлов

К примеру:

http://сайт.ру/sredstvo-ot-potencii/feed

А в описании "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

Движок WP

В Robots прописано:

Disallow: */*/feed/*/

Disallow: */feed

Как с этим бороться? Как убрать эти страницы из индекса и не допустить их дальнейшего туда попадания?

Буду благодарен за любой дельный совет!

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
LEOnidUKG
#1
Как с этим бороться?

Никак. Если только убирать страницы физически и отдавать 404 ошибку.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
El_grapaduro
На сайте с 01.09.2008
Offline
315
El_grapaduro
#2
LEOnidUKG:
Никак. Если только убирать страницы физически и отдавать 404 ошибку.

А еще лучше 410

Sower
На сайте с 30.12.2009
Offline
659
Sower
#3

Самое интересное то, что в выдачу с таким описанием попадают и служебные страницы на которые вообще нет ссылок. Спасибо браузерным стучалкам.

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
[Удален]
#4
LEOnidUKG:
Никак. Если только убирать страницы физически и отдавать 404 ошибку.

Как это организовать? Получается уже встречались с подобным?

Да и почему он хавает их? Ведь в роботс всё верно прописано. Может где обсуждение было по данному вопросу?

Sower
На сайте с 30.12.2009
Offline
659
Sower
#5
pocikon:
Как это организовать? Получается уже встречались с подобным?
Да и почему он хавает их? Ведь в роботс всё верно прописано. Может где обсуждение было по данному вопросу?

Попробуйте удалить страницы через WMT.

trwiz
На сайте с 26.05.2007
Offline
164
trwiz
#6
Sower:
Попробуйте удалить страницы через WMT.

бесполезно

[Удален]
#7
trwiz:
бесполезно

Вы тоже встречались с этим? Как боролись? Какой движок?

И как на это смотрят ПС?

Нормально ли, если оставлю как есть?

V
На сайте с 30.04.2009
Offline
42
vnzhirny
#8

отдавать 404 ошибку по этим урлам.. конечно, это не означает что по этим урлам не нужно отдавать контента этих страниц

Ремонт одежды любой сложности в Харькове, ателье (http://www.igolochka.kh.ua) по пошиву и ремонту одежды "С Иголочки".
S3
На сайте с 18.04.2011
Offline
109
sok3535
#9
pocikon:

Disallow: */*/feed/*/
Disallow: */feed

Как с этим бороться? Как убрать эти страницы из индекса и не допустить их дальнейшего туда попадания?

Буду благодарен за любой дельный совет!

убрать из роботс эти директивы т.е. открыть боту к ним доступ и добавить в functions.php темы код 

add_action('rss2_head', 'feed_norobots');

function feed_norobots() {

   echo '<xhtml:meta xmlns:xhtml="http://www.w3.org/1999/xhtml" name="robots" content="noindex" />';

}

убедиться, что на этих стр в теле присутствует - 

name="robots" content="noindex"
если да, то дальше ждать когда бот просканирует эти стр и выбросит их из индекса
Sower
На сайте с 30.12.2009
Offline
659
Sower
#10
trwiz:
бесполезно

Пробовали?

У меня как-то личный парсер влетел в выдачу с этим описанием. Удалил через WMT, не попадал больше в выдачу.

В robots был закрыт, естественно.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий