Говноботы

211

sidorka

7 марта 2016, 11:12

9552

Киньте пж актуальный список говноботов. Или htaccess готовый.

Дешевые домены для дорвеев и не только - от 55р (https://goo.gl/Wtnwqp)

195

plattoo

7 марта 2016, 11:45

#1

RewriteCond %{HTTP_USER_AGENT} MJ12bot [OR]

RewriteCond %{HTTP_USER_AGENT} MegaIndex [OR]

RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]

RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]

RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]

RewriteCond %{HTTP_USER_AGENT} Runet-Research-Crawler [OR]

RewriteCond %{HTTP_USER_AGENT} Sogou [OR]

RewriteCond %{HTTP_USER_AGENT} Python [OR]

RewriteCond %{HTTP_USER_AGENT} Pingdom [OR]

RewriteCond %{HTTP_USER_AGENT} Riddler [OR]

RewriteCond %{HTTP_USER_AGENT} Java [OR]

RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]

RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]

RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]

RewriteCond %{HTTP_USER_AGENT} Voyager [OR]

RewriteCond %{HTTP_USER_AGENT} PostRank [OR]

RewriteCond %{HTTP_USER_AGENT} PycURL [OR]

RewriteCond %{HTTP_USER_AGENT} Aport [OR]

RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]

RewriteCond %{HTTP_USER_AGENT} DotBot [OR]

RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]

RewriteCond %{HTTP_USER_AGENT} larbin [OR]

RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]

RewriteCond %{HTTP_USER_AGENT} libwww [OR]

RewriteCond %{HTTP_USER_AGENT} Wget [OR]

RewriteCond %{HTTP_USER_AGENT} SWeb [OR]

RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]

RewriteCond %{HTTP_USER_AGENT} Soup [OR]

RewriteCond %{HTTP_USER_AGENT} WordPress [OR]

RewriteCond %{HTTP_USER_AGENT} spbot [OR]

RewriteCond %{HTTP_USER_AGENT} MLBot [OR]

RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]

RewriteCond %{HTTP_USER_AGENT} FairShare [OR]

RewriteCond %{HTTP_USER_AGENT} Yeti [OR]

RewriteCond %{HTTP_USER_AGENT} Birubot [OR]

RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]

RewriteCond %{HTTP_USER_AGENT} Linguee [OR]

RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]

RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]

RewriteCond %{HTTP_USER_AGENT} Purebot [OR]

RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]

RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]

RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]

RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]

RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]

RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]

RewriteCond %{HTTP_USER_AGENT} suggybot [OR]

RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]

RewriteCond %{HTTP_USER_AGENT} Nutch [OR]

RewriteCond %{HTTP_USER_AGENT} Zeus

RewriteRule ^(.*)$ – [F,L]

5

T

120

Tecak

7 марта 2016, 11:46

#2

YandexBot забыл добавить 😂

3

Дешевые VDS - Дешевле некуда! (http://0ll0.ru/4Ta9y)

102

orka13

7 марта 2016, 12:35

#3

мой:

RewriteEngine On

### START Определяем главное зеркало как site.ru

RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]

RewriteRule ^(.*)$ http://%1/$1 [L,R=301]

DefaultLanguage en

AddDefaultCharset windows-1251

php_value default_charset "cp1251"

SetEnvIfNoCase User-Agent "^.*AhrefsBot" bad_user

SetEnvIfNoCase User-Agent "^.*LinkpadBot" bad_user

SetEnvIfNoCase User-Agent "^.*MJ12bot" bad_user

SetEnvIfNoCase User-Agent "^.*Baiduspider" bad_user

SetEnvIfNoCase User-Agent "^.*SputnikBot" bad_user

SetEnvIfNoCase User-Agent "^.*msnbot" bad_user

SetEnvIfNoCase User-Agent "^.*Exabot" bad_user

SetEnvIfNoCase User-Agent "^.*DotBot" bad_user

SetEnvIfNoCase User-Agent "^.*wmaid" bad_user

SetEnvIfNoCase User-Agent "^.*statdom" bad_user

SetEnvIfNoCase User-Agent "^.*TurnitinBot" bad_user

SetEnvIfNoCase User-Agent "^.*Web-Monitoring" bad_user

SetEnvIfNoCase User-Agent "^.*200PleaseBot" bad_user

SetEnvIfNoCase User-Agent "^.*SLCC2" bad_user

SetEnvIfNoCase User-Agent "^.*SV1" bad_user

SetEnvIfNoCase User-Agent "^.*MSIE\s6\.1" bad_user

SetEnvIfNoCase User-Agent "^.*Ask\sJeeves" bad_user

SetEnvIfNoCase User-Agent "^.*HP\sWeb\sPrintSmart" bad_user

SetEnvIfNoCase User-Agent "^.*HTTrack" bad_user

SetEnvIfNoCase User-Agent "^.*IDBot" bad_user

SetEnvIfNoCase User-Agent "^.*Indy\sLibrary" bad_user

SetEnvIfNoCase User-Agent "^.*ListChecker" bad_user

SetEnvIfNoCase User-Agent "^.*MSIECrawler" bad_user

SetEnvIfNoCase User-Agent "^.*NetCache" bad_user

SetEnvIfNoCase User-Agent "^.*Nutch" bad_user

SetEnvIfNoCase User-Agent "^.*RPT-HTTPClient" bad_user

SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user

SetEnvIfNoCase User-Agent "^.*Twiceler" bad_user

SetEnvIfNoCase User-Agent "^.*Webster\sPro" bad_user

SetEnvIfNoCase User-Agent "^.*www\.cys\.ru" bad_user

SetEnvIfNoCase User-Agent "^.*Wysigot" bad_user

SetEnvIfNoCase User-Agent "^.*Yeti" bad_user

SetEnvIfNoCase User-Agent "^.*Accoona" bad_user

SetEnvIfNoCase User-Agent "^.*CazoodleBot" bad_user

SetEnvIfNoCase User-Agent "^.*CFNetwork" bad_user

SetEnvIfNoCase User-Agent "^.*ConveraCrawler" bad_user

SetEnvIfNoCase User-Agent "^.*DISCo" bad_user

SetEnvIfNoCase User-Agent "^.*Download\sMaster" bad_user

SetEnvIfNoCase User-Agent "^.*FAST\sMetaWeb\sCrawler" bad_user

SetEnvIfNoCase User-Agent "^.*Flexum\sspider" bad_user

SetEnvIfNoCase User-Agent "^.*Gigabot" bad_user

SetEnvIfNoCase User-Agent "^.*HTMLParser" bad_user

SetEnvIfNoCase User-Agent "^.*ia_archiver" bad_user

SetEnvIfNoCase User-Agent "^.*ichiro" bad_user

SetEnvIfNoCase User-Agent "^.*IRLbot" bad_user

SetEnvIfNoCase User-Agent "^.*Java" bad_user

SetEnvIfNoCase User-Agent "^.*km\.ru\sbot" bad_user

SetEnvIfNoCase User-Agent "^.*kmSearchBot" bad_user

SetEnvIfNoCase User-Agent "^.*libwww-perl" bad_user

SetEnvIfNoCase User-Agent "^.*Lupa\.ru" bad_user

SetEnvIfNoCase User-Agent "^.*LWP::Simple" bad_user

SetEnvIfNoCase User-Agent "^.*lwp-trivial" bad_user

SetEnvIfNoCase User-Agent "^.*Missigua" bad_user

SetEnvIfNoCase User-Agent "^.*Offline\sExplorer" bad_user

SetEnvIfNoCase User-Agent "^.*OmniExplorer_Bot" bad_user

SetEnvIfNoCase User-Agent "^.*PEAR" bad_user

SetEnvIfNoCase User-Agent "^.*psbot" bad_user

SetEnvIfNoCase User-Agent "^.*Python" bad_user

SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user

SetEnvIfNoCase User-Agent "^.*SMILE" bad_user

SetEnvIfNoCase User-Agent "^.*Speedy" bad_user

SetEnvIfNoCase User-Agent "^.*Teleport\sPro" bad_user

SetEnvIfNoCase User-Agent "^.*TurtleScanner" bad_user

SetEnvIfNoCase User-Agent "^.*voyager" bad_user

SetEnvIfNoCase User-Agent "^.*WebCopier" bad_user

SetEnvIfNoCase User-Agent "^.*WebData" bad_user

SetEnvIfNoCase User-Agent "^.*WebZIP" bad_user

SetEnvIfNoCase User-Agent "^.*Yanga" bad_user

SetEnvIfNoCase User-Agent "^.*Ezooms" bad_user

SetEnvIfNoCase User-Agent "^.*BLEXBot" bad_user

SetEnvIfNoCase User-Agent "^.*Spider/Bot" bad_user

Deny from env=bad_user

2

Продажи шаблона Google-Translate (Гугл Переводчик), скорость: 20 млн ключей/час, с прокси, без API. (http://zennolab.com/discussion/threads/prodazhi-shablona-google-translate.43684/) Переводит ключи, статьи, HTML+PHP файлы (целые сайты, доры) с сохранением верстки!

I

190

igoreff

7 марта 2016, 12:37

#4

У меня вот такой htaccess https://cloud.mail.ru/public/86Zy/d2HdsHbQN

1

📝 Нейро Тексты для сайтов, быстро, дешево и качественно 👉 https://bit.ly/xgptwriter 👈 | ►►► ✔100% загон в индекс ГУГЛА — Быстро и Недорого 👉 https://bit.ly/Link_index 💡 Проверено лично 2024 👍

970

kxk

7 марта 2016, 12:39

#5

Мой списочек:

RewriteEngine On
### START Определяем главное зеркало как site.ru
RewriteCond %{HTTP_HOST} ^www\.(.*)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [L,R=301]
DefaultLanguage en
AddDefaultCharset windows-1251
php_value default_charset "cp1251"
SetEnvIfNoCase User-Agent "^.*AhrefsBot" bad_user
SetEnvIfNoCase User-Agent "^.*LinkpadBot" bad_user
SetEnvIfNoCase User-Agent "^.*MJ12bot" bad_user
SetEnvIfNoCase User-Agent "^.*Baiduspider" bad_user
SetEnvIfNoCase User-Agent "^.*SputnikBot" bad_user
SetEnvIfNoCase User-Agent "^.*msnbot" bad_user
SetEnvIfNoCase User-Agent "^.*Exabot" bad_user
SetEnvIfNoCase User-Agent "^.*DotBot" bad_user
SetEnvIfNoCase User-Agent "^.*wmaid" bad_user
SetEnvIfNoCase User-Agent "^.*statdom" bad_user
SetEnvIfNoCase User-Agent "^.*TurnitinBot" bad_user
SetEnvIfNoCase User-Agent "^.*Web-Monitoring" bad_user
SetEnvIfNoCase User-Agent "^.*200PleaseBot" bad_user
SetEnvIfNoCase User-Agent "^.*SLCC2" bad_user
SetEnvIfNoCase User-Agent "^.*SV1" bad_user
SetEnvIfNoCase User-Agent "^.*MSIE\s6\.1" bad_user
SetEnvIfNoCase User-Agent "^.*Ask\sJeeves" bad_user
SetEnvIfNoCase User-Agent "^.*HP\sWeb\sPrintSmart" bad_user
SetEnvIfNoCase User-Agent "^.*HTTrack" bad_user
SetEnvIfNoCase User-Agent "^.*IDBot" bad_user
SetEnvIfNoCase User-Agent "^.*Indy\sLibrary" bad_user
SetEnvIfNoCase User-Agent "^.*ListChecker" bad_user
SetEnvIfNoCase User-Agent "^.*MSIECrawler" bad_user
SetEnvIfNoCase User-Agent "^.*NetCache" bad_user
SetEnvIfNoCase User-Agent "^.*Nutch" bad_user
SetEnvIfNoCase User-Agent "^.*RPT-HTTPClient" bad_user
SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*Twiceler" bad_user
SetEnvIfNoCase User-Agent "^.*Webster\sPro" bad_user
SetEnvIfNoCase User-Agent "^.*www\.cys\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*Wysigot" bad_user
SetEnvIfNoCase User-Agent "^.*Yeti" bad_user
SetEnvIfNoCase User-Agent "^.*Accoona" bad_user
SetEnvIfNoCase User-Agent "^.*CazoodleBot" bad_user
SetEnvIfNoCase User-Agent "^.*CFNetwork" bad_user
SetEnvIfNoCase User-Agent "^.*ConveraCrawler" bad_user
SetEnvIfNoCase User-Agent "^.*DISCo" bad_user
SetEnvIfNoCase User-Agent "^.*Download\sMaster" bad_user
SetEnvIfNoCase User-Agent "^.*FAST\sMetaWeb\sCrawler" bad_user
SetEnvIfNoCase User-Agent "^.*Flexum\sspider" bad_user
SetEnvIfNoCase User-Agent "^.*Gigabot" bad_user
SetEnvIfNoCase User-Agent "^.*HTMLParser" bad_user
SetEnvIfNoCase User-Agent "^.*ia_archiver" bad_user
SetEnvIfNoCase User-Agent "^.*ichiro" bad_user
SetEnvIfNoCase User-Agent "^.*IRLbot" bad_user
SetEnvIfNoCase User-Agent "^.*Java" bad_user
SetEnvIfNoCase User-Agent "^.*km\.ru\sbot" bad_user
SetEnvIfNoCase User-Agent "^.*kmSearchBot" bad_user
SetEnvIfNoCase User-Agent "^.*libwww-perl" bad_user
SetEnvIfNoCase User-Agent "^.*Lupa\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*LWP::Simple" bad_user
SetEnvIfNoCase User-Agent "^.*lwp-trivial" bad_user
SetEnvIfNoCase User-Agent "^.*Missigua" bad_user
SetEnvIfNoCase User-Agent "^.*Offline\sExplorer" bad_user
SetEnvIfNoCase User-Agent "^.*OmniExplorer_Bot" bad_user
SetEnvIfNoCase User-Agent "^.*PEAR" bad_user
SetEnvIfNoCase User-Agent "^.*psbot" bad_user
SetEnvIfNoCase User-Agent "^.*Python" bad_user
SetEnvIfNoCase User-Agent "^.*rulinki\.ru" bad_user
SetEnvIfNoCase User-Agent "^.*SMILE" bad_user
SetEnvIfNoCase User-Agent "^.*Speedy" bad_user
SetEnvIfNoCase User-Agent "^.*Teleport\sPro" bad_user
SetEnvIfNoCase User-Agent "^.*TurtleScanner" bad_user
SetEnvIfNoCase User-Agent "^.*voyager" bad_user
SetEnvIfNoCase User-Agent "^.*WebCopier" bad_user
SetEnvIfNoCase User-Agent "^.*WebData" bad_user
SetEnvIfNoCase User-Agent "^.*WebZIP" bad_user
SetEnvIfNoCase User-Agent "^.*Yanga" bad_user
SetEnvIfNoCase User-Agent "^.*Ezooms" bad_user
SetEnvIfNoCase User-Agent "^.*Wget" bad_user
SetEnvIfNoCase User-Agent "^.*Curl" bad_user
SetEnvIfNoCase User-Agent "^.*BLEXBot" bad_user
SetEnvIfNoCase User-Agent "^.*Spider/Bot" bad_user

Deny from env=bad_user

1

Ваш DEVOPS

Есть толк от Applebot,

KC

112

KFC

7 марта 2016, 17:41

#6

а на серваке apache можно чтобы для всех сайтов этот хтаксес, или надо в каждый дор этот файл класть?

DV

644

DenisVS

7 марта 2016, 18:08

#7

KFC, можно в <directory> каждого виртуального хоста.

Если я правильно понимаю, за этот тэг правила не распространяются, поправьте, кто знает.

Ещё лучшее решение — в конфигурацию nginx, нагрузка совсем упадёт. Только формат записи совсем неудобный получается:

    if ( $http_user_agent ~* (OpenLinkProfiler.org|SemrushBot|BLEXBot|WebIndex|TurnitinBot|MJ12bot|SputnikBot|AhrefsBot|majestic12|SearchBot|xUSAx|xpymep|MegaIndex|nikolaydovydov@km.ru) ){

        rewrite ^(.*)$ http://localhost/ permanent;

    }

Это я их на себя заворачиваю, можно и просто обламывать.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )

[Удален]

7 марта 2016, 18:44

#8

KFC:
а на серваке apache можно чтобы для всех сайтов этот хтаксес, или надо в каждый дор этот файл класть?

В вышестоящую диру положи, тогда действие распространяется на все ниже расположенные папки, если в них нет своего файла .htaccess Я именно так и делаю. В каждую копировать нет смысла - устанет рука уже на первом-втором десятке.

151

_Snake_

7 марта 2016, 19:22

#9

vastmanager:
В вышестоящую диру положи, тогда действие распространяется на все ниже расположенные папки, если в них нет своего файла .htaccess

Если директивы .htaccess, на нижних уровнях, не перебивают директивы .htaccess ближе к корню - так будет вернее. Но вообще как уже выше писали, для таких целей есть nginx.

1

[Удален]

7 марта 2016, 19:27

#10

_Snake_:
Если директивы .htaccess, на нижних уровнях, не перебивают директивы .htaccess ближе к корню - так будет вернее. Но вообще как уже выше писали, для таких целей есть nginx.

nginx для статики норм. вроде. На динамике у меня глюки дает, что ну его нах. В настройки лезть не хочется.

Open AI тестирует память для ChatGPT

Переиграть и победить: как анализировать конкурентов для продвижения сайта