Яндекс косячит с роботс txt

X
На сайте с 04.12.2018
Offline
151
593

На днях прилетело сообщение, что нет РОБОТС TXT

На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(

В их числе и дубли и технические страницы типа оформлений заказов :(

Удобный съем позиций (http://allpositions.ru/redirect/58277)
Piligrim4x4
На сайте с 14.12.2009
Offline
97
#1

Ничего удивительного! Это же Яша :)

Теория и практика размещения заказов (https://forum.pro-zakupki.su)
X
На сайте с 04.12.2018
Offline
151
#2

META NOINDEX для него указ?

ХЗ
На сайте с 31.08.2008
Offline
132
#3
Xubart:
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(
В их числе и дубли и технические страницы типа оформлений заказов :(

Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения - блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.

Had
На сайте с 01.04.2014
Offline
497
Had
#4

Уже 2-3 недели мне приходит по многим сайтам и по роботс тхт, что их нет и прочие бредни. Забил, не обращаю внимание.

█ ННП █ Самый надёжный и недорогой хостинг в России - https://clck.ru/MDrmD
A
На сайте с 20.08.2010
Offline
775
#5
Xubart:
На днях прилетело сообщение, что нет РОБОТС TXT
На сайте он есть, никуда не девался, но на всякий случай кнопочку проверки нажал.

А прочитать сообщение слабо? Так написано про привязку счетчика к ВЕБМАСТЕРУ.

Xubart:

Сегодня в индексе куча страниц, которые были скрыты в роботсе :(
В их числе и дубли и технические страницы типа оформлений заказов :(

Яндекс давно игнорит роботс с каноникал, пора привыкнуть.

Jet D.
На сайте с 08.12.2008
Offline
402
#6
Х.З.:
Непонятно чего вы ждете от сообщества вебмастеров: совета как правильно блокировать ботов или коллективного осуждения - блокируйте по юзер-агенту доступ к страницам апачем или нжинксом, и, да, осуждаем.

Вот это ужасный совет. Даже не говоря о том, что под разными UA парсит (в. т.ч. данные с реальных браузеров), так еще и клоакинг будет со всеми вытекающими.

Домены от $0.59! (https://regway.com) 500+ доменных зон, 20+ способов оплаты и 10 лет стабильной работы Регистрация и продление доменов .RU и .РФ от 150 ₽! (/ru/forum/377815) Доступен реселлинг и API!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий