Также считаю, т.к. сайты в фильтре, рус ссылок нет.
Да, можно и так. Спасибо.
Бот вроде бы успокоился. В принципе, все указанные варианты рабочие.
Crawl-delay раньше помогала, сейчас не работает.
Мне проблемы создает юзер-агент такого вида:
Mozilla/5.0 (compatible; Yahoo! Slurp/3.0; http://help.yahoo.com/help/us/ysearch/slurp)
При запрете:
SetEnvIfNoCase User-Agent "^Slurp" search_bot
Бот продолжает бомбить сервер.
П.С. кстати может кому понадобиться, проверка доступа юзер-агентов:
http://www.botsvsbrowsers.com/SimulateUserAgent.asp
Попробуйте прописать в .htaccess
RewriteEngine On
RewriteCond %{REQUEST_URI} !^/403.php$
RewriteCond %{HTTP_USER_AGENT} .*Baiduspider.* [OR]
RewriteCond %{HTTP_USER_AGENT} .*Yeti.*
RewriteRule .* /403.php [F]
Только вот не факт, что поможет.
Я пытаюсь запретить доступ для Slurp и msnbot (грузят сервер), запрет в robots.txt, бан по айпи и как указал выше не помогает.
Может кто подскажет что еще можно сделать чтобы их успокоить.
Уважаемый Danilov, не подскажите у меня есть сайт которому 16 лет PR4, он подпадает под трастовый сайт? Т.е. старый сайт-домен в априори трастовый?
> Но ведь для .eu нужно быть гражданином страны-участницы ЕС, если я не ошибаюсь?
Я регистрировал .eu через mastername
Попробуйте ввести запрос в www.aol.com
Для понимания смысла, можно так:
http://translate.google.ru/translate?hl=ru&sl=en&u=http://www.seobook.com/google-branding&ei=rOOvSYjHMMOe_gaN5MC1BA&sa=X&oi=translate&resnum=1&ct=result&prev=/search%3Fq%3Dhttp://www.seobook.com/google-branding%26hl%3Dru%26client%3Dfirefox-a%26rls%3Dorg.mozilla:ru:official%26hs%3D2eZ%26newwindow%3D1
Спасибо за инфу. Насчет изменения алгоритма не знаю - похоже на то.
Но, теперь знаю как называется фильтр в котором 80% моих сайтов - "position 6"
Пошел искать как лечить этот фильтр ;-(
>Были идеи добавить/немного поменять контент, разместиться в каталогах статей.
Делал, не помогло. Раньше помогали трастовые ссылки, сейчас также не помогает. Но, добавлять контент, правильно размещать статьи (ИМХО как еда) - надо делать всегда.
Название фильтра не знаю, впервые столкнулся с таким фильтром более года назад (eng сайты).
П.С. совет работать над сайтом, и терпение, терпение ...
Удачи.
