Форум Поисковые системы Яндекс

Вопрос по Яндексу

12 3
DO
На сайте с 16.09.2002
Offline
0
drag-on
5540

Доброго всем времени суток!

У меня вопросец - через какое время после посещения роботом странички последняя становится доступна для поиска?

А то я в логах посмотрел - Yanex/1.0... посетил страничку пару дней назад, но для поиска она не доступна. Может забанили? За спам приняли?

[Удален]
#1

drag-on

Во-первых, у Яндекса есть несколько роботов, среди них всего один индексирует страницы. Различаются одной буквой в user-agent, поэтому приводите полностью это поле.

Во-вторых, в последние два месяца Яндекс ведет себя совершенно не так, как раньше, и новые закономерности его поведения пока не прослеживаются.

Как Google обрабатывает дополнительные Яндекс.Метрика добавила новый фильтр Автостратегия работает без конверсий
DO
На сайте с 16.09.2002
Offline
0
drag-on
#2

Агент Yandex/1.03.003 (compatible; Win16; D)

[Удален]
#3

Так это вообще не индексатор, а (никогда не выучу, как odd и even :D)

Индексатор - с буковкой I.

C
На сайте с 19.09.2001
Offline
120
Cherny
#4
Как писал drag-on
Агент Yandex/1.03.003 (compatible; Win16; D)

Это "регистратор", при добавлении сайта берет robots.txt и добавляемую страницу.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
[Удален]
#5
Как писал Interitus
никогда не выучу, как odd и even :D

Какая четность букв в слове, то и значит :D

Smile
На сайте с 23.08.2002
Offline
206
Smile
#6

Встречный вопрос:

То, как роботы Яндекса приходят снова и снова на сайт зависит от его ВИЦ'а? (и видать не смотрят они ни на какие last-modified, expired, revesit-after и т.д.)

У меня именно такое ощущение сложилось.

Или я не прав. Профессора, Вы как думаете?

С уважением, Вячеслав Гайсин aka Smile. http://websitesales.ru (http://websitesales.su)
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
wolf
На сайте с 13.03.2001
Offline
1183
wolf
#7
Это "регистратор", при добавлении сайта берет robots.txt и добавляемую страницу.

Кстати, любопытный случай. Сайт запрещен для индексации Яндексу файлом robots.txt. Однако при попытке добавить его главную страницу в базу Яндекса через стандартную форму Яндекс радостно сообщает:


Ваш URL ..... внесен в нашу базу данных.

Отсюда следует вопрос: действительно ли робот-регистратор (D) обращается к robots.txt? Или он тоже невежлив, как и яндексовский робот-закладочник?

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие
wolf
На сайте с 13.03.2001
Offline
1183
wolf
#8
То, как роботы Яндекса приходят снова и снова на сайт зависит от его ВИЦ'а? (и видать не смотрят они ни на какие last-modified, expired, revesit-after и т.д.)

От чего зависит режим обхода роботом сайтов точно знают только в Яндексе. Мы можем лишь предполагать с различной степенью успеха. Но то, что он никак не зависит от revisit-after - это медицинский факт.

C
На сайте с 19.09.2001
Offline
120
Cherny
#9
Как писал wolf
Отсюда следует вопрос: действительно ли робот-регистратор (D) обращается к robots.txt? Или он тоже невежлив, как и яндексовский робот-закладочник?

А таки вы правы, мистер wolf,😕 специально проверил логи методом grep Yandex access_log что дало следующий результат:

213.180.194.134 - - [08/Jul/2002:13:39:54 +0300] "GET / HTTP/1.1" 200 3706 "-" "Yandex/1.03.003 (compatible; Win16; D)"

213.180.194.134 - - [08/Jul/2002:13:39:56 +0300] "GET / HTTP/1.1" 200 3706 "-" "Yandex/1.03.003 (compatible; Win16; D)"

213.180.194.148 - - [09/Jul/2002:00:45:19 +0300] "GET /robots.txt HTTP/1.1" 200 167 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.194.148 - - [09/Jul/2002:00:45:23 +0300] "GET /secondpage.html HTTP/1.1" 200 6259 "-" "Yandex/1.01.001 (compatible; Win16; I)"

213.180.194.148 - - [09/Jul/2002:00:45:32 +0300] "GET /thirdpage.html HTTP/1.1" 200 6193 "-" "Yandex/1.01.001 (compatible; Win16; I)"

ну и так далее.

wolf
На сайте с 13.03.2001
Offline
1183
wolf
#10
А таки вы правы, мистер wolf

Оба-на! Еще один невежливый яндекс-робот! Опять яндексоиды лажанулись. Ну, и что они теперь скажут в свое оправдание, интересно? Ведь этот-то робот, в отличие от закладочного, все-таки делает запрос GET, а не HEAD, то есть скачивает документ! Или яндексоиды по-прежнему считают, что раз робот не проходит по ссылкам, то это и не робот вовсе? :D

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий