Как забанить все сервисы поиска ссылок на сайт?

12
Conan Varvar
На сайте с 06.11.2011
Offline
249
1843

Интересует как максимально скрыть ссылки на сайт от всех широкоизвестных и малоизвестных сервисов поиска беков на сайт типа: ahrefs.com, xtool.ru, xseo.in и прочих.

Находил темы типа этой - вопрос не решают, т.к. сервисов не один.

Кто заморачивался с такой проблемой? Как успехи?

1. Нужен качественный трафик? Лучшие тизерные сети! (http://tizernie-seti.ru/тизерные_сети/) 2. Лучший хостинг сайтов!! (http://tizernie-seti.ru/хостинг_сайтов/) 3. Лей на Виагру на свой шоп!! (https://goo.gl/f17SLS) Инвайт dSMP8aVF7jAkmw8F
foxi
На сайте с 02.03.2011
Offline
878
#1

Банить по юзерагентам, собирать и банить подсети ip.

Сделать на старницах невидимые для юзера ссылки. Если туда зашли - значит бот, логировать, потом из списка выбирать ненужных вам ботов и банить.

Антибот защита для сайта (https://antibot.cloud/ru.html#searchengines) (защита от кражи контента и спама) | ВебМастерские микроблоги (https://wmsn.biz/#searchengines) | Фокси SEO форум (https://foxi.biz/#searchengines)
respekto
На сайте с 15.01.2011
Offline
280
#2

Филькин труд

Нужны аки адсенс - грузия, молдова, ирландия, литва, британия, стучите в скайп у кого есть на продажу. Bul li ku ta одним словом
Muhal4
На сайте с 01.07.2008
Offline
79
#3

Борьба с ветряными мельницами. Ну или вносить в базу данные всех посетителей не из браузеров, и потом уже смотреть кого закрывать а кого нет. Банить всех сразу я бы не стал.

LinkBoss.net - Трастовые ссылки для увеличения трафика в 10 раз! (http://linkboss.net/)
Conan Varvar
На сайте с 06.11.2011
Offline
249
#4

еще погуглил

нашел эту ветку, там один из коллег говорит, что бота ahrefs.com можно заблокировать через robots.txt (это предлагает сам сервис).

может кто делал эффективную портянку ботов в robots.txt, которых нужно прикрыть?

shurik0
На сайте с 07.01.2011
Offline
301
#5
Conan Varvar:
портянку ботов в robots.txt, которых нужно прикрыть?

А зачем портянка?

Гуглу и Яндексу разрешить, а остальным закрыть.

Как то так:

User-agent: Googlebot

Disallow:

User-agent: Yandex

Disallow:

User-agent: *

Disallow: /

Качественный хостинг по низкой цене. (http://goo.gl/MpjbKi)
Conan Varvar
На сайте с 06.11.2011
Offline
249
#6
shurik0:
А зачем портянка?
Гуглу и Яндексу разрешить, а остальным закрыть.

Как то так:

User-agent: Googlebot
Disallow:
User-agent: Yandex
Disallow:
User-agent: *
Disallow: /

А всякие яху, бинги и рамблеры с мейлами тоже трафик дают.

Опять же если персонально не блокировать, блокируя всех ботов, можно заблокировать что-то полезное, кроме перечисленных выше поисковиков (хотя, они, вроде все кроме яху, юзают поиск яндекса, но может у них тоже боты свои есть)

Lord Maverik
На сайте с 15.04.2003
Offline
463
#7

Я вот такую штуку юзаю:

RewriteCond %{HTTP_USER_AGENT} (AhrefsBot|SolomonoBot|SearchBot|MJ12bot|Ezooms|baiduspider|Synthesio|Purebot|bezonanet|netEstate|rogerbot|exabot|dotbot|gigabot|sitebot|Slurp) [NC]
RewriteRule .* - [F,L]



---------- Добавлено 26.09.2016 в 18:52 ----------

Conan Varvar:
А всякие яху

Если только на англ сайт. Для ру трафа бесполезен.

RedMall.Ru (https://redmall.ru) - Товары из Китая (Таобао, Tmall) с проверкой качества, скидка для форумчан 7% Партнерская программа 2 уровня: 5% + 5%. Подробнее. (https://redmall.ru/about/partner/)
Conan Varvar
На сайте с 06.11.2011
Offline
249
#8
Lord Maverik:
Я вот такую штуку юзаю:

Пробовали себя проверять через эти сервисы? Трафику не навредили? Что делать с нашими (русскоязычными) сервисами (у них боты как-то называются)?

foxi
На сайте с 02.03.2011
Offline
878
#9

Conan Varvar, такая защита отлично работает.

r27
На сайте с 11.06.2012
Offline
101
r27
#10

Всякие hrefs нормально обрабатывают и учитывают robots.txt:

User-agent: AhrefsBot

Disallow: /

User-agent: SemrushBot

Disallow: /

Часть ботов банится через .htaccess, как показано выше.

В интернетах на некоторых сайтах предлагается банить hrefs и через robots и через htaccess. Что является не всегда корректным действием. Т.к. тогда надо в htaccess делать исключения для файла robots.txt, иначе при доступе к нему у роботов так же будет отдаваться 403 ошибка.

Никого не консультирую и ничего не оптимизирую.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий