Как составленный по стандарту, robots.txt запретит ваш сайт к индексации.

GO
На сайте с 21.04.2007
Offline
43
709

Вот такой robots.txt - http://www.pi11.ru/robots.txt, может привести к выпадению из выдачи вашего сайта. Попробуйте добавить главную страницу сайта:

Указанный URL запрещен к индексации.

з.ы. Про Allow знаю.

WebII Lab (http://webii.ru/) Короткий урл (http://py6.ru/) Обои (http://b000.ru/)
J0
На сайте с 13.05.2007
Offline
39
#1

Причина не в этом. Воспользуйтесь http://webmaster.yandex.ru/wmconsole/public_robots_txt.xml для проверки - морда разрешена к индексированию.

Зарабатываю тут (http://www.setlinks.ru/?pid=17004).
zhitov
На сайте с 30.01.2005
Offline
219
#2
GrOm!:
Указанный URL запрещен к индексации.

Просто сайт в бане, robots не причем совершенно (провел эксперимент).

Да и составлен он не по стандартам (пустая строка).

Строительные калькуляторы ( https://www.zhitov.com/ )
GO
На сайте с 21.04.2007
Offline
43
#3

Да, возможно я поторопился.

Сейчас буду смотреть.

alexspb
На сайте с 14.11.2005
Offline
187
#4
zhitov:
Да и составлен он не по стандартам (пустая строка).

Как это? С каких пор неразрешены пустые строки?

zhitov
На сайте с 30.01.2005
Offline
219
#5

Пардон, погорячился :)

_maloy_
На сайте с 11.04.2009
Offline
81
#6

извините может вопрос не в тему. объясните новичку, фаил robots.txt,надо составлять самому или есть готовый?

S
На сайте с 28.10.2005
Offline
296
#7

Научится писать самому или попросить кого-нить на худой конец

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий