По чуть чуть....

123
mnt
На сайте с 11.11.2002
Offline
107
mnt
#11

Яндекс тоже околелый какой то ходит по сайтам и по 400 страниц жрет и уходит.

нет чтобы как Fast или google хавают и хавают :)

дорого куплю ссылки с хороших жирных русскоязычных авто сайтов.
LM
На сайте с 30.11.2001
Offline
71
LiM
#12
...а если значение тега Document-state=...

ну я же чуть выше говорил!.. :(

НИКАКИЕ теги НЕ влияют на периодичность захода робота.

На периодичность заходов Яндекса влияет только реальная неизменность страницы на протяжении большого времени. Тогда робот на эту страницу постепенно будет заходить все реже и реже...

Про другие поисковики говорить не могу, т.к. оснований для этих утверждений имею мало.

Яндекс тоже околелый какой то ходит по сайтам и по 400 страниц жрет и уходит.

Каждый поисковик имеет свою стратегию индексирования. И в каждой стратегии есть свои плюсы и минусы... А Гугль, между прочим, предпочитает брать все за один большой заход в месяц. Исключение составляют только страницы с большим PR, которые отдельно отрабатываются фрэшботом.

PS. Fast, кстати, тоже сеансами ходит...

С уважением, Андрей Хроленок. Загляни в FAQ по оптимизации и продвижению сайтов (http://www.seoman.ru/FAQ/) Анализатор страниц сайтов (http://www.seoman.ru/analizer/)
F4
На сайте с 16.09.2002
Offline
35
#13
Как писал LiM

На периодичность заходов Яндекса влияет только реальная неизменность страницы на протяжении большого времени. Тогда робот на эту страницу постепенно будет заходить все реже и реже...

Может быть тогда тут влияет тэг <meta name="Last-Modified">

Не потому ли Яндекс так нервничает когда "Сервер не выдает дату последнего изменения документа!"

С уважением, Александр Грин
N
На сайте с 21.11.2001
Offline
152
#14
Как писал fire42
А есть какой-либо легкий приём для переиндексации в Яндексе?
Его робот очень давно у меня был...

Попробуй воспользоваться подсветой.

wolf
На сайте с 13.03.2001
Offline
1183
#15
Не потому ли Яндекс так нервничает когда "Сервер не выдает дату последнего изменения документа!"

Вообще-то, яндексоиды утверждали, что отсутствие даты последнего изменения документа вроде как не влияет на скорость переиндексации

Сергей Людкевич, независимый консультант, SEO-аудиты и консультации - повышаю экспертность SEO-команд и специалистов ( http://www.ludkiewicz.ru/p/blog-page_2.html ) SEO-блог - делюсь пониманием некоторых моментов поискового продвижения ( http://www.ludkiewicz.ru/ )
C
На сайте с 19.09.2001
Offline
120
#16
Вообще-то, яндексоиды утверждали, что отсутствие даты последнего изменения документа вроде как не влияет на скорость переиндексации

А как тогда быть с высказыванием Сегаловича в следущем топике?


iseg писал
Яндекс за 1 проход по сайту скачивает определенное количество страниц. Если про некую страницу яндексу известна ее дата (сервер в прошлый раз вернул Last-Modified), то яндекс запрашивает ее с заголовком If-Modified-Since, на каковой заголовок сервер имеет полное право вернуть 304 код.

Таким образом робот будет успевать за один заход скачивать большее число документов, реально изменившихся или еще не проиндексированных.

У-ф.
С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
wolf
На сайте с 13.03.2001
Offline
1183
#17
А как тогда быть с высказыванием Сегаловича в следущем топике?

Здесь речь идет об оптимизации работы робота и уменьшении временных затрат на индексацию/переиндексацию сайта. Т.е. робот сначала задает запрос If-Modified-Since, и если по ответу определяет, что документ не изменился с момента прошлого посещения (возвращен 304 код), то не скачивает его. А если 304 код не возвращен (т.е. документ был изменен, или же сервер вообще не выдает дату последнего изменения), то документ скачивается.

Ссылки по теме:

http://forum.yandex.ru/index.xhtml?id_note_forum=1046671

http://forum.yandex.ru/index.xhtml?id_note_forum=1031384

http://forum.yandex.ru/index.xhtml?id_note_forum=77448

F4
На сайте с 16.09.2002
Offline
35
#18
Как писал Nicon

Попробуй воспользоваться подсветой.

Я недавно на форуме и даже не могу себе представить что такое подсвета. Поиск на фоуме мне тоже ничего особого не дал.

D
На сайте с 16.01.2003
Offline
63
#19

Блин, уже третий месяц подряд наблюдаю след. картину: в начале месяца приходит Рамблеровский робот, жрет 600 станиц и уходит. В результатах поиска Рамблера - на сайте найдено 2 страницы... за начало декабря.

Когда же базу обновят?

Обмен ссылками с сайтами строительной тематики, в т.ч. с морд
N
На сайте с 21.11.2001
Offline
152
#20
Как писал fire42
Я недавно на форуме и даже не могу себе представить что такое подсвета.

Сорри за безграмотность 🙄. Я имел ввиду подсветкой.

Введите в Яндексе запрос, среди результатов поиска по которому, будет Ваша страница, но заведомо устаревшая. Нажмите ссылку показать найденые слова. Робот-подсветчик попытается выполнить Ваше требование, при этом будет показывать не кэш, а будет ломиться на запрашиваемую страницу, и обнаружит расхождения. Это сигнал основному роботу о том, что страница изменилась, надо идти. В общем-то схема не очевидная, но некоторые верят, что она работает, например, Gray.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий