Робот заходит независимо от бана?

HA
На сайте с 22.09.2010
Offline
38
907

Если попал в бан или ушёл с индексации, робот всё равно будет заходить на сайт и проверять его?

Васисуалий
На сайте с 23.10.2008
Offline
215
#1

По моим наблюдениям, если сайт в бане (агс это не касатеся) , робот ходит только на главную, роботс и сайтмап.

vandamme
На сайте с 30.11.2008
Offline
675
#2

Васисуалий, ничего подобного, шарит сайты еще как по всем страницам

HA
На сайте с 22.09.2010
Offline
38
#3

у меня 24-ого слетели все страницы с поиска, какраз когда робот заходил. Вот думал, бан это ли не бан, думаю дождаться следующего захода, если не бан, я так подозреваю, то должно вернуться. Логично?

vandamme
На сайте с 30.11.2008
Offline
675
#4

не вариант, что вернется

KiryaBH
На сайте с 07.06.2009
Offline
142
#5
Васисуалий:
По моим наблюдениям, если сайт в бане (агс это не касатеся) , робот ходит только на главную, роботс и сайтмап.

А как объяснить мою ситуацию, сайт в бане (в аддурл не добавляется), до недавнего времени была главная в индексе. Решил попробовать вывести из бана без письма, сменил дизайн, добавил уникального контета, переделал ЧПУ и еще кое что по мелочи. Судя по логам хостера да робот заходил только на главную, роботс и сайтмап. Через неделю купил 5 статей в миралинксе с приличных тематичных сайтов ЯК, ТИЦ больше 100, с двумя ссылками в каждой статье на внутряк и вот после того как статьи проиндексировались вдруг робот стал ходить на две одни и те же внутренние страницы, причем почти каждый день. Через два апа эти страницы появляются в индексе, но домен по прежнему в бане.

Как это объяснить? и что млин делать не на все же страницы сайта покупать статьи :)

П.С. сейчас вижу в логах робот стал посещать еще одну страницу, на нее также была куплена статья со ссылкой, думаю тоже скоро появится в индексе.

Вот такая вот загадка этот Яндекс.

ТОПчик среди хостингов! (https://goo.gl/z4QszF) | Дешевая РАБсила (https://goo.gl/8Mg7if) | ПУШИстая партнерка (https://clickstar.me/?ref=35ddc4aa)
The WishMaster
На сайте с 29.09.2005
Offline
2542
#6

Ходит по всему сайту, естественно. Ему ж надо видеть, можно разбанивать или нет :)

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
natal01
На сайте с 24.12.2010
Offline
8
#7

в мой блог, когда попал под фильтр, робот заходил но редко

Васисуалий
На сайте с 23.10.2008
Offline
215
#8
KiryaBH:
А как объяснить мою ситуацию

Не знаю как объяснить, я в логи только смотрю по факту, а не додумываю "естественную" хероту за робота, что ему там нужно видеть или не нужно видеть (камень не в ваш огород 🚬 )

L
На сайте с 07.12.2007
Offline
351
#9
Васисуалий:
По моим наблюдениям, если сайт в бане (агс это не касатеся) , робот ходит только на главную, роботс и сайтмап.
vandamme:
Васисуалий, ничего подобного, шарит сайты еще как по всем страницам

А правы - оба. Сделайте сайт на вручную забаненом дропе - роботы шариться по сайту не будут. Будут долбить одну какую-нибудь страницу.

Если сайт попал в в бан после индексации - робот-индексатор продолжает ходить активно.

PS: И надо различать индексирующего бота, от "картиночника", "фавиконщика" и кучи других спецроботов и "простукивалок". Некоторым роботам - пофиг забанен сайт или нет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий