Форум Сайтостроение Веб-строительство

Продвинутый robots.txt

12
[Удален]
#11
Pancake:
Так там и так очень многим роботам запретили индексацию.

А вообще, в самом роботсе ошибки - например, директива User-Agent пишется так и только так.

В том-то и дело. Видимо, роботы эти не очень полезны для сайта, который посещают или даже, наоборот, вредны.

Сомневаюсь, что у таких серьёзных перцев будут ошибки в роботсе. :)

З.Ы. Хе...

robotstxt.org.ru/RobotsExclusion/guide:
Это довольно непросто, т.к. не существует инструкции “Allow”.

У Яши уже есть. :)

Наши сайты перестанут индексироваться Яндекс кобласит Упал доход
S
На сайте с 30.07.2007
Offline
37
Seodan
#12

Скорей всего сделали, что бы сократить кол-во трафа съедаемого всякими левыми поисковиками.

[Удален]
#13
Seodan:
Скорей всего сделали, что бы сократить кол-во трафа съедаемого всякими левыми поисковиками.

Ну в общем, логично. Плюс к тому там есть, судя по названиям, сборщики почтовых адресов и прочая гадость. Наверное, есть смысл... :)

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#14
robust:
в том robots.txt они забыли прописать самую главную инструкцию:
User-agent:Google
Disallow:/

А что есть такой бот?

[Удален]
#15
kimberlit:
А что есть такой бот?

Сколько тусуюсь на этом форуме, всё забываю спросить, что такое Гугл? :) Впрочем, спрашивали тут и без меня. :)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий