Закрыть индексацию через .htcaccess для левых ПС и сервисов

[Удален]
1001

Готов купить или может кто-то поделится актуальным файлом .htaccess, который закрывает сайт (ГС, саттелит) от индексации левых ПС и сервисов (ahrefs, solomono и т.д.).

CK
На сайте с 25.03.2008
Offline
72
#1

Ну можно сделать по такому принципу например..

<IfModule mod_setenvif.c>
# Блокировка ботов по User Agent:
SetEnvIfNoCase User-Agent "(?:Accoona|antabot|Ask Jeeves/Teoma|Baiduspider|Bigmir|China|curl/|Dolphin|Download|EltaIndexer|Email|FlashGet|GameSpy|Gigabot|grub|Gulper Web|ia_archiver|liveinternet|Meta|Mihalism|OmniExplorer|Pagebull|Scooter|Twiceler|Validator|WebAlta|Wget|WordPress).*$" bot
# Блокировка IP-адресов AfriNIC, APNIC, LACNIC:
SetEnvIf Remote_Addr ^(?:[346-9]|1[1-35-9]|2[0-25689]|3[02-58]|4[04578]|5[1-7]|21[45])\..*$ ip
# AfriNIC:
SetEnvIf Remote_Addr ^(?:41|102|105|197)\..*$ ip
# APNIC:
SetEnvIf Remote_Addr ^(?:1|14|27|3[69]|4[239]|5[89]|6[01]|1(?:0[136]|1[0-9]|2[0-6]|33|75|8[023])|2(?:0[23]|1[0189]|2[0-3]))\..*$ ip
# LACNIC:
SetEnvIf Remote_Addr ^(?:1(?:7[79]|8[1679]|9[01])|20[01])\..*$ ip
# Запрет для слишком активного бота Dolphin со всей их хитрож... мудрой компанией (бот ходит с IP-адреса 94.127.144.38, выполняя многочисленные запросы с «левыми» параметрами на несуществующие страницы):
SetEnvIf Remote_Addr ^94\.127\.14[45]\..*$ ip
# Запрет хоста еще одной хитрож... мудрой компании (на своем гс эти ... размещают спамерские ссылки на чужие сайты, среди которых вы можете обнаружить и свой), заодно жалуемся на них в службу поддержки Яндекса:
SetEnvIf Referer ^https?://(?:.+\.)?amazing\.ru/.*$ shit
SetEnvIf Remote_Addr ^213\.189\.197\.7$ shit
</IfModule>

#Блокировка ботов

SetEnvIfNoCase user-Agent ^FrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Java.* [NC,OR]
SetEnvIfNoCase user-Agent ^Microsoft.URL [NC,OR]
SetEnvIfNoCase user-Agent ^MSFrontPage [NC,OR]
SetEnvIfNoCase user-Agent ^Offline.Explorer [NC,OR]
SetEnvIfNoCase user-Agent ^[Ww]eb[Bb]andit [NC,OR]
SetEnvIfNoCase user-Agent ^Zeus [NC]

RewriteCond %{HTTP_REFERER} http://solomono.ru
RewriteRule ^$ http://google.ru [R]

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий