В роботс.тхт закрыл, так ведь нет... читает, читает, читает....

1 234
Avatar
На сайте с 18.05.2003
Offline
168
#31
pro-maker:
И что? Сессии в урлах давно.

возможно, просто я никогда не задумывался, а убиты ли сессии на ЭТОМ форуме.

Получается что как и у меня - для юзеров убиты, а для ботов - нет.

Т.е. вобла отвечает поисковикам не лучше, чем СМФ.

Кстати о птичках: - http://www.yandex.ru/yandsearch?serverurl=www.tuninguem.ru

Сессий НЕТ, в отличие от гугля 🚬

И кстати вот по поводу яшки:

http://www.yandex.ru/yandsearch?serverurl=forum.searchengines.ru/misc.php

http://www.yandex.ru/yandsearch?serverurl=forum.searchengines.ru/online.php

Похоже нужно не через роботс.тхт этим нахалам-роботам вход закрывать...

AiK
На сайте с 27.10.2000
Offline
257
AiK
#32

Avatar, зря ты на Гугль наезжаешь. "Это - Америка, сынок" (с).

Если Гугль не будет соблюдать robots.txt, то у него быстренько отсудят несколько сотен лямов ненаших денег.

А у Серёги ошибка в robots.txt. Он слурпу чего-то назапрещал, а всем остальным всё разрешил. Ибо нефиг пустую строку после User-agent: * делать ;)

Avatar
На сайте с 18.05.2003
Offline
168
#33

Артём, интересно то, что яшка мой форум БЕЗ сессий кушает :)

Есть почва для размышлений.

AiK
На сайте с 27.10.2000
Offline
257
AiK
#34

Avatar, ну, возможно кто-то поставил ссылку на топик форума с сессией и пошло поехало. Если ещё учесть, что robots.txt поисковики кешируют, то это надолго. У меня как-то была циклическая ошибка в новостном скрипте, так после запрета в robots.txt последние тормоза туда ещё и через месяц ломились. Если тебе Гугль на этом форуме не нужен, так не поленись, создай для него отдельное правило.

1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий