Форум Практика оптимизации Doorways & Cloaking

Говноботы

1 23456
sidorka
На сайте с 17.08.2012
Offline
211
sidorka
#41

vastmanager, вы путаете причину и следствие. Как влияет посещение ваших доров ботом ахрефса на межсайтовые переходы реальных юзеров? Кроме палева своих сеток коллегам, смысла в ахрефсе нет.

Дешевые домены для дорвеев и не только - от 55р (https://goo.gl/Wtnwqp)
one
На сайте с 15.04.2007
Offline
336
one
#42

vastmanager, с перелинковкой быстрее индексация?

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
[Удален]
#43
one:
vastmanager, с перелинковкой быстрее индексация?

Быстрее. Боты с сайта на сайт переходят.

one
На сайте с 15.04.2007
Offline
336
one
#44

vastmanager, по сколько внешних ссылок ставишь?

[Удален]
#45
one:
vastmanager, по сколько внешних ссылок ставишь?

Сейчас по 5 внешних ссылок со страницы. Раньше по 10 ставил.

Александр-
На сайте с 18.04.2012
Offline
55
Александр-
#46

Ушли все в оффтопики.

Расскажите лучше друзья. У всех длиннющие списки говноботов, а как вы проверяете действительно-ли вы закрылись от этих ботов? Может и не работает эта конструкция которая прописана.

realefs
На сайте с 27.06.2010
Offline
87
realefs
#47
Александр-:
а как вы проверяете действительно-ли вы закрылись от этих ботов?

грепнуть акцесс логи, нэ?

Рубероид дорожает.
Александр-
На сайте с 18.04.2012
Offline
55
Александр-
#48
realefs:
грепнуть акцесс логи, нэ?

Могу я вас попросить более развёрнуто написать что вы имели ввиду?

Спасибо.

realefs
На сайте с 27.06.2010
Offline
87
realefs
#49

грепнуть - использовать консольную утилиту grep (unix системы)

акцесс логи - логи доступа к сайту/ам

предложил проверить логи на предмет посещения сайта (сервера) "плохими" ботами и что им отдалось

sidorka
На сайте с 17.08.2012
Offline
211
sidorka
#50

Может пригодится кому. Нагрузка упала в разы.

if ($http_user_agent ~ "MJ12bot"){ return 403; }
if ($http_user_agent ~ "Java"){ return 403; }
if ($http_user_agent ~ "NjuiceBot"){ return 403; }
if ($http_user_agent ~ "Gigabot"){ return 403; }
if ($http_user_agent ~ "Baiduspider"){ return 403; }
if ($http_user_agent ~ "JS-Kit"){ return 403; }
if ($http_user_agent ~ "Voyager"){ return 403; }
if ($http_user_agent ~ "PostRank"){ return 403; }
if ($http_user_agent ~ "PycURL"){ return 403; }
if ($http_user_agent ~ "Aport"){ return 403; }
if ($http_user_agent ~ "ia_archiver"){ return 403; }
if ($http_user_agent ~ "DotBot"){ return 403; }
if ($http_user_agent ~ "SurveyBot"){ return 403; }
if ($http_user_agent ~ "larbin"){ return 403; }
if ($http_user_agent ~ "Butterfly"){ return 403; }
if ($http_user_agent ~ "libwww"){ return 403; }
if ($http_user_agent ~ "SWeb"){ return 403; }
if ($http_user_agent ~ "LinkExchanger"){ return 403; }
if ($http_user_agent ~ "Soup"){ return 403; }
if ($http_user_agent ~ "WordPress"){ return 403; }
if ($http_user_agent ~ "PHP/"){ return 403; }
if ($http_user_agent ~ "spbot"){ return 403; }
if ($http_user_agent ~ "MLBot"){ return 403; }
if ($http_user_agent ~ "InternetSeer"){ return 403; }
if ($http_user_agent ~ "FairShare"){ return 403; }
if ($http_user_agent ~ "Yeti"){ return 403; }
if ($http_user_agent ~ "Birubot"){ return 403; }
if ($http_user_agent ~ "YottosBot"){ return 403; }
if ($http_user_agent ~ "gold\ crawler"){ return 403; }
if ($http_user_agent ~ "Linguee"){ return 403; }
if ($http_user_agent ~ "Ezooms"){ return 403; }
if ($http_user_agent ~ "lwp-trivial"){ return 403; }
if ($http_user_agent ~ "Purebot"){ return 403; }
if ($http_user_agent ~ "User-Agent"){ return 403; }
if ($http_user_agent ~ "kmSearchBot"){ return 403; }
if ($http_user_agent ~ "SiteBot"){ return 403; }
if ($http_user_agent ~ "CamontSpider"){ return 403; }
if ($http_user_agent ~ "ptd-crawler"){ return 403; }
if ($http_user_agent ~ "HTTrack"){ return 403; }
if ($http_user_agent ~ "suggybot"){ return 403; }
if ($http_user_agent ~ "ttCrawler"){ return 403; }
if ($http_user_agent ~ "Nutch"){ return 403; }
if ($http_user_agent ~ "Zeus"){ return 403; }
if ($http_user_agent ~ "Ahrefs"){ return 403; }
if ($http_user_agent ~ "Yahoo"){ return 403; }
if ($http_user_agent ~ "Semrush"){ return 403; }

Самый злобный - бот ахрефса.

1 23456

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий