То есть закрыть от индексации и удалить метрику? Понял. Но есть пару вопросов. 1) Целостность цепочек-редиректов. Если закрыть от индексации старый сайт, не повлияет ли это на работу редеректов, если яндекс не будет видеть старого сайта? 2) Как лучше закрыть от индексации старый сайт? - В robots.txt закрыть полностью через Disallow: / - Или запретить индексацию и переходы по ссылкам метатегом <meta name="robots" content="noindex, nofollow">? - Или на старом сайте запретить только индексацию, а переходы по ссылкам разрешить метатегом <meta name="robots" content="noindex, follow">?
Я на своём сайте решил проблему установкой на все страницы сайта скрипта Антибот Скачать здесь можно https://antibot.cloud/
Похоже что скрипт реально работает, даже на бесплатном тарифе, боты заглушку не проходят. Привожу статистику из панели скрипта: http://joxi.ru/a2XZlabsw3qVwr
Видно что ботов идёт почти в десять раз больше чем реальных посетителей.
Anotherd#: Пробовали cloudflare подключать? Сейчас думаю над этим.
От самого клоудфларе толку ноль, он ботов не фильтрует. Надо правила вводить, для этого копаться в логах и метрике, блокировать по реферу и IP. То же самое я могу и в htaccess сделать, без КФ.
действительно, получается бестолку с этим бороться.
Вы ссылки можете любые прописать на одном сайте но в метрике за неделю я зафиксировал уже более 600 сайтов-источников, и каждый день новые. Это бот должен уметь имитировать переходы с разных сайтов. Нужна хорошая база сайтов. Кому придёт в голову таким заниматься...
Для начала хорошо бы разобраться, есть ли среди этих адресов пользовательские т.e. те которые возникают в результате пользовательской навигации.
Если есть, то классифицировать их и склеивать 301 редиректами с актуальными адресами целевых, либо дополняющих назначений (т.е. рабочих страниц).
А весь технический и служебный хлам также 301-ым склеить с полезным родительским уровнем, правда для этого нужно конкретно разобраться в структуре вашего сайта.
302 - это временный редирект, он не даст полноценной склейки, а если оставите просто 404-e, то из индекса они конечно повыпадают, но в статистике Вебмастера при переобходе роботом у вас так и будeт болтаться баласт 404-ых результатов. Так что помимо настройки 404-го ответа и редиректов еще необходимо будет проверить, где генерируются подобные ссылки и актуальны ли они сейчас. При нахождении их - купировать возможность их генерации.
На одном моём сайте боты идут из Москвы, так в вебмастере яндекса региональная привязка этого сайта стоит на всю Россию. А на другом сайте привязка к Владивостоку, и на нём ботов нет. Может просто случайность, не знаю..
я сказал поддомен закрыть а не старый сайт , через роботс
Спасибо, буду пробовать.
вот это
Понял. Но есть пару вопросов.
1) Целостность цепочек-редиректов. Если закрыть от индексации старый сайт, не повлияет ли это на работу редеректов, если яндекс не будет видеть старого сайта?
2) Как лучше закрыть от индексации старый сайт?
- В robots.txt закрыть полностью через Disallow: /
- Или запретить индексацию и переходы по ссылкам метатегом <meta name="robots" content="noindex, nofollow">?
- Или на старом сайте запретить только индексацию, а переходы по ссылкам разрешить метатегом <meta name="robots" content="noindex, follow">?
Я на своём сайте решил проблему установкой на все страницы сайта скрипта Антибот
Скачать здесь можно https://antibot.cloud/
Похоже что скрипт реально работает, даже на бесплатном тарифе, боты заглушку не проходят.
Привожу статистику из панели скрипта:
http://joxi.ru/a2XZlabsw3qVwr
Видно что ботов идёт почти в десять раз больше чем реальных посетителей.
Спустя 13 дней после установки скрипта позиции по всем страницам пошли вверх:
http://joxi.ru/ZrJYBOJFw8X6DA
Пока я доволен!
P.S. А здесь ветка с обсуждением скрипта https://searchengines.guru/ru/forum/981615
Пробовали cloudflare подключать? Сейчас думаю над этим.
От самого клоудфларе толку ноль, он ботов не фильтрует. Надо правила вводить, для этого копаться в логах и метрике, блокировать по реферу и IP. То же самое я могу и в htaccess сделать, без КФ.
Ну практически - ботов прямых 3-5% осталось, но думаем как выморозить их. А живой трафик не только из пс, конечно. Но он живой, это проверяем.
Не могли бы поделиться стоп-листом заблокированных ботов, для добавления в клоудфларе?
действительно, получается бестолку с этим бороться.
Вы ссылки можете любые прописать на одном сайте но в метрике за неделю я зафиксировал уже более 600 сайтов-источников, и каждый день новые. Это бот должен уметь имитировать переходы с разных сайтов. Нужна хорошая база сайтов. Кому придёт в голову таким заниматься...
Для начала хорошо бы разобраться, есть ли среди этих адресов пользовательские т.e. те которые возникают в результате пользовательской навигации.
Если есть, то классифицировать их и склеивать 301 редиректами с актуальными адресами целевых, либо дополняющих назначений (т.е. рабочих страниц).
А весь технический и служебный хлам также 301-ым склеить с полезным родительским уровнем, правда для этого нужно конкретно разобраться в структуре вашего сайта.
302 - это временный редирект, он не даст полноценной склейки, а если оставите просто 404-e, то из индекса они конечно повыпадают, но в статистике Вебмастера при переобходе роботом у вас так и будeт болтаться баласт 404-ых результатов. Так что помимо настройки 404-го ответа и редиректов еще необходимо будет проверить, где генерируются подобные ссылки и актуальны ли они сейчас. При нахождении их - купировать возможность их генерации.
Спасибо!