Форум Поисковые системы Прочие поисковики

робот yahoo.com

S
На сайте с 20.01.2008
Offline
14
spbstyle
1213

Приветствую!

Подскажите как правильно запретить роботу yahoo.com индексировать мои сайты?

Перепробовал 4 варианта, но все равно сайт виден в yahoo.com

1) User-agent: Yahoo! Slurp

Disallow: /

2) User-agent: Slurp

Disallow: /

3) User-agent: Yahoo!

Disallow: /

4) User-agent: Slurp

Crawl-delay: 100000

Эти строчки с robot.txt. 4 варианта тестирую уже месяца полтора на 4 разных сайтах, но результатов нет:(

pini3n
На сайте с 08.08.2009
Offline
16
pini3n
#1

а там нету чтоли удаления сайта из поиска??? ну как у яши...

S
На сайте с 20.01.2008
Offline
14
spbstyle
#2
pini3n:
а там нету чтоли удаления сайта из поиска??? ну как у яши...

где у яндекса такое?

inetessentials
На сайте с 19.05.2005
Offline
480
inetessentials
#3
spbstyle:
где у яндекса такое?

http://webmaster.yandex.ru/delurl.xml

Продвигаем естественно (http://www.inetessentials.ru/) и непринужденно Проект All in Top (http://www.allintop.ru/) - обучение поисковой оптимизации без воды и на реальных примерах
iren K
На сайте с 28.12.2008
Offline
222
iren K
#4

..смотрите по логам - какой заходит, а вообще у yahoo много роботов: какой конкретно хотите запретить?

посмотрите эту тему

c уважением Iren
Angel OSHQ.cc
На сайте с 23.07.2007
Offline
225
Angel OSHQ.cc
#5

мне помог только фаервол и занесение айпи яху туда +)

Безлимитный хостинг ( https://oshq.cc/unlimhost.html ) в NL от 0.5$. Аренда серверов во Франции ( https://oshq.cc/serverf.html ) от (15 евро)
B
На сайте с 02.05.2007
Offline
240
balueff
#6
pini3n:
а там нету чтоли удаления сайта из поиска??? ну как у яши...

есть

/ru/forum/388297

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий