Форум Поисковые системы Прочие поисковики

запрет на индексацию для yahoo

12
PoMka
На сайте с 22.07.2007
Offline
55
PoMka
#11
alexseo:
Crawl-delay не только яху понимает.
User-agent: *
Crawl-delay: 120

а зачем он вообще нужен, нагрузку снижает? А роботов не попугает;)?

WebSeizeTool (http://webseizetool.com) - Инструмент для работы с cPanel, ISPmanager, Plesk - через один интерфейс!
Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#12
PoMka:
а зачем он вообще нужен, нагрузку снижает?

Именно. Директива призвана усмирять роботов MSN и Yahoo!

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).
K
На сайте с 12.07.2006
Offline
295
Kpd
#13
Цахес:
Именно. Директива призвана усмирять роботов MSN и Yahoo!

msn cильно не беспокоит, а вот yahoo кушал по 40-50к страниц, давая всего 20-30 посетителей.

[Удален]
#14

Просто человек решил осложнить работу по сбору бэков для конкурентов. ;)

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий