Форум Поисковые системы Яндекс

Как закрыть сайт от индексации ?

sarkis28
На сайте с 18.12.2018
Offline
119
sarkis28
1771

Больше месяца назад , поставил директиву 

User-Agent: *
Disallow: /
но яндекс упорно продолжает ходить по сайту и еще и обновляет выдачу загруженных данных . 
Подскажите, как закрыться от яндекса раз и навсегда  ? 😀
TB
На сайте с 16.01.2009
Offline
231
TonyBlackberry
#1
sarkis28 :

Больше месяца назад , поставил директиву

но яндекс упорно продолжает ходить по сайту и еще и обновляет выдачу загруженных данных . 
Подскажите, как закрыться от яндекса раз и навсегда  ? 😀

забаньте всех ботов яндекса через htaccess. вот их список https://yandex.ru/support/webmaster/robot-workings/check-yandex-robots.html

Как проверить, что робот принадлежит Яндексу - Вебмастер. Справка
  • yandex.ru
Иногда роботы могут маскироваться под роботов Яндекса путем указания соответствующего User-agent. Вы можете проверить, что робот является тем, за кого себя выдает используя идентификацию, основанную на обратных DNS-запросах (reverse DNS lookup). Для этого необходимо выполнить следующее: Проверьте, принадлежит ли хост Яндексу. Имена всех роботов...
Genius Ideaing
На сайте с 12.02.2024
Offline
73
Genius Ideaing
#2
sarkis28 :
Подскажите, как закрыться от яндекса раз и навсегда  ? 

подключите сайт к cloudflare

создайте правило WAF , где для сети AS Яндекса вы установите block

и дел то...

директивы robots.txt часто долго игнорируются ПС...

а гугл так вообще конь...

может и вовсе запрещенные через роботс тхт разделы сайта и страницы годами индексировать...

это все идет  от даунизма разработчиков алгоритмов ПС... олигофрены, что с них взять. их лечить надо заменой на действительно интеллектуалов ...... 

Дешёвый хостинг и домены: https://clck.ru/3FxXCa / Мощный хостинг: https://clck.ru/3DKmVu / Есть Идеи! Ищу хороших людей для реализации этих идей! Мой Telegram: https://clck.ru/396JFF
Нужен ли robots.txt ? Где искать тег rel="nofollow гугл не смотрит на
G6
На сайте с 12.07.2007
Online
186
garry69
#3
sarkis28 :
Подскажите, как закрыться от яндекса раз и навсегда  ?

В  .htaccess добавьте:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
<Limit GET POST HEAD>
Order Allow,Deny
Allow from all
Deny from env=search_bot
</Limit>

Можно менять добавлять и тд.

Очистите трафик сайта от ботов и накруток ПФ https://antibot.worldwebinfo.ru

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий