В роботс.тхт закрыл, так ведь нет... читает, читает, читает....

Сергей, 😂 ГАД 😂, я тоже тебя люблю 😂

Виталий, да не, он в профили на форуме полез, хотя его туда не звали 🚬

Соответствующая директива роботса значит его не впечатляет.

П.С. Да и зачем Гугль (и др. поисковики) кормить яндексовским хостом?

Виталий, да какая разница, каждый день или по четным? 🚬

Написано русским по белому в robots.txt - не лазь! А он лазит!

Т.е. таки ДА, директива не работает (для него)

Яшка тоже нахватать успел, пока я в роботсе все лишнее не закрыл.

Накидал в delurl, закрыв в роботсе, написал - удалит :)

Во всяком случае больше он (яшка) туда не лазал.

Зато рамблер сегодня полез в активацию аккаунта 😂

Короче боты вообще озверевшие какие-то, творят что хотят 🚬

Просто беспредел какой-то!

Avatar, а ты их по IP отправляй куда-нить... Хоть в ту же ветку "секс в рекламе" - пусть смотрят :) Или Рамблер в Яндекс, Яндекс в MSN, а Google куда-нить в байнет :)

robots.txt

а в реале форум на сессиях и бот получает примерно вот такие URL'ы

http://www.tuninguem.ru/index.php?PHPSESSID=2e24d55f606ca2d719ef7d64185cb189&action=profile;u=1

и будет дальше жрать

Алексей, избавляйтесь от сессий

Алексей, когда заходишь на морду первый раз и идешь далее вглубь, в URL вставляется сессия.

motorhead, блин, ну читай выше 😂

Сессии уже убиты, а он все равно сидит :)

Yaroslav_Adv, дык и ты выше читай 😂

ужо написал, что отдам ему его же серп на своем домене - пущай индексирует, пока не умрет 😂

Хотя веселее на него занулить апорт 😂

У него сейчас наверное индекс по размеру, как какой-нибудь большой сайт 😂

Гугля даже не поймет, а низкочастотника на меня пойдет - заказчаешься 😂

pro-maker, в опере?

В Экспловере, а какая разница?

Удали куки, зайди на морду и пройдись в темы. :)

Пока сам себя не сожрет 😂