Поведение робота при АГС

K
На сайте с 18.11.2008
Offline
84
758

Пристально слежу за сайтом, который буквально недельку назад попал под санкции. Не стану говорить, что не за что - коли яша решил, что это так, то так тому и быть.

Вопрос, собственно, в чем. Был опыт в количестве трех сайтов, на которых, после попадания под фильтр, робот яши загружал главную страницу + еще две-три. На одном из них далее главной страницы он не уходил в принципе. На этом сайте робот продолжает шерстить, обходя потихоньку все страницы, имеющиеся на сайте.

Сколько страниц просматривает робот

Только главную
13% (1)
Главную и еще несколько
25% (2)
Ходит по всем страницам
13% (1)
Хаотично - как вздумается
50% (4)
Всего проголосовало: 8
F
На сайте с 13.11.2009
Offline
269
#1

А он и будет шурстить. Ему же надо проверять, стал ли сайт соответствовать "хорошему сайту" с точки зрения Яндекса и стоит ли возвращать его в поиск. Это нормально. А на прежних двух сайтах наверное робот ленивый попался :)

Jaf4
На сайте с 03.08.2009
Offline
804
#2
Knigorub:
после попадания под фильтр, робот яши загружал главную страницу + еще две-три. На одном из них далее главной страницы он не уходил в принципе. На этом сайте робот продолжает шерстить, обходя потихоньку все страницы, имеющиеся на сайте.

Где смотрите эти данные? В логах сервера?

New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
K
На сайте с 18.11.2008
Offline
84
#3
foran:
А он и будет шурстить. Ему же надо проверять, стал ли сайт соответствовать "хорошему сайту" с точки зрения Яндекса и стоит ли возвращать его в поиск. Это нормально. А на прежних двух сайтах наверное робот ленивый попался :)

Этот вопрос я и задавал Платонам - "как вы можете оценить сайт в целом, если робот не ходит дальше морды", ответ - "у нас есть специальные программы". Типа да отвали ты со своими тупыми вопросами. Не на двух, на трех - этот четвертый.

Jaf4, да, в логах. И скриптик, который считывает юзерагента.

Jaf4
На сайте с 03.08.2009
Offline
804
#4
Knigorub:
Этот вопрос я и задавал Платонам - "как вы можете оценить сайт в целом, если робот не ходит дальше морды", ответ - "у нас есть специальные программы". Типа да отвали ты со своими тупыми вопросами. Не на двух, на трех - этот четвертый.

Jaf4, да, в логах.

Ясн. У меня нет сайтов по фильтром. Есть клиентский дроп (был ими упущен давно, я выудил, делаю для них сайт) предположительно в бане, был на нем какой-то порнофорум, остались бэки.

Вижу в акцесс.лог как раз в несколько дней бот яндекса спрашивает главную, роботс, фафикон. И все. В выдаче сайта нет, в вебмастер загружен, на самом сайте есть несколько страниц. Сайт на вордпрессе, код сильно почищен, шаблон вычищенный и модифицированный паблик. Домен сменить не вариант, имя=брэнд.

Jaf4 добавил 23.11.2011 в 13:19

Knigorub:
"у нас есть специальные программы".

Ага, секретные, их сервер в логах никак не отмечает. :o

update:

Дружище!! Каюсь, дезинформировал. У меня в роботс тогда открыта только главная была. Правда в выдаче ее тоже нет.

K
На сайте с 18.11.2008
Offline
84
#5

Jaf4, тогда это банан. Из под него вывести сайт удавалось почти всегда, но в 40% случаев он почти сразу залетал под АГС.

Jaf4
На сайте с 03.08.2009
Offline
804
#6
Knigorub:
Jaf4, тогда это банан. Из под него вывести сайт удавалось почти всегда, но в 40% случаев он почти сразу залетал под АГС.

Меня АГС не пугает. Там не будет говнотекстов и портянок, это коммерческий сайт с актуальной и нужной информацией и небольшим количеством страниц.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий