Помогите разобраться с robots.txt

1 23
Megamozg
На сайте с 25.09.2006
Offline
147
#21
ListOn:
По старым правилам обработки для индексации запрещен весь сайт, по новым - весь, кроме /catalog

Почему по старым правилам запрещен весь каталог к индексации - понимаю.

Почему по новым весь, кроме /catalog - не понимаю.

Не надо курить много китайской травы...
Megamozg
На сайте с 25.09.2006
Offline
147
#22

Так неужели тут нету тех, кто разобрался и может на примерах показать, какие изменения произошли в учете директив файла robots.txt?

Megamozg
На сайте с 25.09.2006
Offline
147
#23

Перепроверил файлы robots.txt на нескольких десятках сайтов. Не нашел ни одного примера, где что-либо начало учитываться и индексироваться по другому.

Так что вопрос все еще актуальный )))

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий