Яндекс косячит с роботс txt

X
На сайте с 04.12.2018
Offline
279
622

На днях прилетело сообщение, что нет РОБОТС TXT

На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(

В их числе и дубли и технические страницы типа оформлений заказов :(

Удобный съем позиций (http://allpositions.ru/redirect/58277)
Piligrim4x4
На сайте с 14.12.2009
Offline
97
#1

Ничего удивительного! Это же Яша :)

Теория и практика размещения заказов (https://forum.pro-zakupki.su)
X
На сайте с 04.12.2018
Offline
279
#2

META NOINDEX для него указ?

ХЗ
На сайте с 31.08.2008
Offline
155
#3
Xubart:
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(
В их числе и дубли и технические страницы типа оформлений заказов :(

Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения - блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.

H
На сайте с 01.04.2014
Offline
571
Had
#4

Уже 2-3 недели мне приходит по многим сайтам и по роботс тхт, что их нет и прочие бредни. Забил, не обращаю внимание.

A
На сайте с 20.08.2010
Offline
775
#5
Xubart:
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

А прочитать сообщение слабо? Так написано про привязку счетчика к ВЕБМАСТЕРУ.

Xubart:

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(
В их числе и дубли и технические страницы типа оформлений заказов :(

Яндекс давно игнорит роботс с каноникал, пора привыкнуть.

JD
На сайте с 08.12.2008
Offline
471
#6
Х.З.:
Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения - блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.

Вот это ужасный совет. Даже не говоря о том, что под разными UA парсит (в. т.ч. данные с реальных браузеров), так еще и клоакинг будет со всеми вытекающими.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий