Форум Поисковые системы Прочие поисковики

Бот мэйла и роботс.тхт

K
На сайте с 16.10.2012
Offline
0
karamon
1047

Бот мэйла обходит запреты моего роботс.тхт

Как с этим бороться? он заходит с этого ip 217.69.133.28

у меня стоит такой запрет:

User-agent: *

Disallow: /Search

Но он не слушается и заходит в этот каталог

что делать?

поможет ли написать персональный запрет на мэил? вот такой:

User-agent: Mail.Ru

Disallow: /Search

R
На сайте с 08.05.2008
Offline
222
rast
#1

Он и должен заходить, роботс запрещает включение в индекс, а не сами переходы внутри сайта.

Тема по продвижению сайтов. От 30 000 р. со ссылочным и копирайтингом!. (/ru/forum/801720) Темка по аудитам и консультациям. Стоимость аудита 9 000 рублей. (/ru/forum/622569) skype rastijko
K
На сайте с 16.10.2012
Offline
0
karamon
#2

но гугл бот перестал заходить. и что вы предлогаете, как сделать чтобы он не заходил?

---------- Добавлено 16.10.2012 в 19:00 ----------

как вариант сделать капчу....но это слишком запарно наверно будет...нет ничего проще?

Лекарство от пингвина! - Соц. опрос! Бот гугла перестал заходить
Misha0o
На сайте с 12.08.2012
Offline
74
Misha0o
#3

а зачем запрещать? пусть заходит.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#4
karamon:
что вы предлогаете, как сделать чтобы он не заходил?

в .htaccess запрет пропишите либо по ip, либо по юзерагенту

c уважением Iren
AL
На сайте с 30.08.2007
Offline
138
andrey_l17
#5

есть например диапазон

217.69.133.0-217.69.133.255

94.100.178.-94.100.178.255

подскажите как правильно оформить .htaccess чтобы переадресовывать этих ботов на другую страничку

zennolab ( http://zennolab.com/ru/products/capmonster/capmonster-lite-samples/pid/4cba0b37-6188-4ae8-bbf6-b608be62207d ) Твой сайт раскрутит сам себя: >> ( http://www.sape.ru/r.a7a0bb08c8.php )
Щ
На сайте с 19.10.2012
Offline
0
Щачло
#6

Возможно я не прав...если Search это каталог то стоит написать так:

User-agent: *

Disallow: /Search/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий