Форум Практика оптимизации Ссылочные и пользовательские факторы

Как скрыть свои бэклинки от ботов ahrefs, majestic и т.д. / NGINX

12
M
На сайте с 10.07.2022
Offline
7
monwhooper
1546
Всем привет. Вопрос в сабже. Я новичок, особенно не смыслю в администрировании, то если там надо пару строчек внести в файл конфирурации - думаю справлюсь. Подскажите подалуйста, как свои бэклинки спрятать от ботов всяких там парсеров бэклинков, чтобы конкуренты не спалили мои сайты, с которых я ставлю ссылочки.
Mik Foxi
На сайте с 02.03.2011
Offline
1141
Mik Foxi
#1
смотреть логи, находить там этих ботов и блочить. или поставить антибота, внести в список только белых ботов, а все остальные боты будут блочиться.
Антибот, антиспам, веб файрвол, защита от накрутки поведенческих: https://antibot.cloud/ Форум на замену серчу: https://foxi.biz/
Сергей
На сайте с 10.07.2022
Offline
43
Сергей
#2
Сравнить юзерагент и закрыть доступ с выводом заглушки 404 или тойже самой страницы но без ссылок

PHP

if ($userAgent == ".......") template(404);

А, пардон, тс хочет на nginx решение, тогда добавить в /etc/nginx/conf.d/site.com правило
Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства
Что делать с 404 nginx не выдаёт страницу Как избавиться от дублей
M
На сайте с 10.07.2022
Offline
7
monwhooper
#3
Сергей #:
А, пардон, тс хочет на nginx решение, тогда добавить в /etc/nginx/conf.d/site.com правило
Что в это правило надо написать? Есть пример как это делается? Гугление мне не помогло.
Сергей
На сайте с 10.07.2022
Offline
43
Сергей
#4
monwhooper #:
Что в это правило надо написать? Есть пример как это делается? Гугление мне не помогло.

if ($http_user_agent ~ (AhrefsBot|Ahrefs)) {

      return 403;

  }


А ещё лучше всем ботам парсерам закрыть https://gist.githubusercontent.com/hans2103/733b8eef30e89c759335017863bd721d/raw/ee063bb2d4cb85e621d0b504480f72fc5e5b8f62/server.badbots

M
На сайте с 10.07.2022
Offline
7
monwhooper
#5
Спасибо. Этот список требует вдумчивого изучения. Как минимум оттуда стоит Яндекс удалить, а то позакрываешь так)))
Сергей
На сайте с 10.07.2022
Offline
43
Сергей
#6
monwhooper #:
Спасибо. Этот список требует вдумчивого изучения. Как минимум оттуда стоит Яндекс удалить, а то позакрываешь так)))

Это как шаблон, на забугорных проектах Яндекс в роботс.тхт в первую очередь блокирую, трафа не даёт только нагрузка на сервак.

M
На сайте с 10.07.2022
Offline
7
monwhooper
#7
Сергей #:

Это как шаблон, на забугорных проектах Яндекс в роботс.тхт в первую очередь блокирую, трафа не даёт только нагрузка на сервак.

А сколько времени в среднем проходит, чтобы ахрефс внёс изменения в базу после того как я от его бота сайты закрыл? Вот есть у меня два сайта, друг на друга ссылаются, оба сайта я закрыл от ахрефс, бот приходит, просит роботс ему дают 403, сколько времени ждать, пока ахрефс уберёт эти ссылки из базы?
Анализатор бэков конкурентов Как спрятать входящие ссылки Подскажите сервис для проверки
iccup
На сайте с 01.05.2016
Offline
195
iccup
#8
monwhooper #:
А сколько времени в среднем проходит, чтобы ахрефс внёс изменения в базу после того как я от его бота сайты закрыл? Вот есть у меня два сайта, друг на друга ссылаются, оба сайта я закрыл от ахрефс, бот приходит, просит роботс ему дают 403, сколько времени ждать, пока ахрефс уберёт эти ссылки из базы?
а не факт что вообще уберет, мб есть смысл сами ссылки убрать, и после того как ахрефс уберет ссылки, блокнуть его ботов.
kimsufi.com ( https://www.kimsufi.com ) очень дешевые и качественные дедики https://clck.ru/gvF9p - антибот, использую уже 3 года.
LEOnidUKG
На сайте с 25.11.2006
Offline
1757
LEOnidUKG
#9
чтобы конкуренты не спалили мои сайты, с которых я ставлю ссылочки.

Эм... так ваш то сайт тут при чём? Обратные ссылки собираются с других сайтов, к которым у вас нет настроек. Если вашего сайта не будет существовать, бэки на него будут показываться.

Или у вас сеть своих сайтов и вы о ней говорите?

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Методика расчета стоимости ссылки Портфолио сеошника Неожиданный бэклинк
M
На сайте с 10.07.2022
Offline
7
monwhooper
#10
LEOnidUKG #:
Или у вас сеть своих сайтов и вы о ней говорите?

monwhooper #:
Вот есть у меня два сайта, друг на друга ссылаются

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий