Мусор в очереди на индексацию роботом Я

HoSStiA · 2006-11-08T10:21:18.0000000Z

После того, как внезапно главным зеркалом стал сайт без "www", и индекс для всего домена обнулился, решил воспользоваться случаем и понаблюдать за телодвижениями робота Я на этом домене. Да и за процессом возвращения в индекс. Публикую в основном форуме, так как это касается работы ПС в целом (выпадение позволило провести "эксперимент"). Думаю, что из этих наблюдений можно сделать некоторые полезные выводы: 1). Сразу после выпадения, и до сегодняшего дня (прошла ровно неделя), стиль захода робота "I" качественно изменился. Если раньше это происходило достаточно равномерно в течение всех суток, теперь индексация происходит только в ночное/утреннее время, двумя "волнами". Первая - короткая, ~30 минут, начинается либо в 2 ночи, либо в 5 утра. Вторая - длинная, 1-1.5 часов, наблюдается либо между 5-7 утра, либо между 7-9 утра. Робот пытается проиндексировать порядка 1500 страниц в сумме. Новые страницы ему практически не известны, так как он в упор не видит "морду". Возможно потому, что следуя любезной рекомендации Платона попытался вернуть основное зеркало на место, т.е. на www. через robots.txt. Все, что пытается сейчас проиндексироваться, судя по всему берется из следующих источников: a). Свежие ссылки с форумов ("естественные") б). Прямые ссылки с сайтов, размещающих прайс-лист и тянущих информацию через YML-коннекторы в). Гипотетическая очередь на индексацию поисковым роботом, о чем хотелось бы рассказать подробнее: Робот упрямо и ежедневно пытается обратиться к скриптам, которые были удалены с сайта еще в 2003(!!!) году и с тех пор выдавали строго 404. В основном, это старый скрипт форума. Причем индексировать несуществующие страницы пытается "по-взрослому" - например, проходится последовательно по нумерованным индексам постов в формум или записям каталога "блоками" по 20-30 записей. Как уже сказал с самого начала, индекс для домена был обнулен полностью. Возможно, где-то в недрах Я и хранится резервная копия старого индекса, но зачем тогда в течение трех лет в нем хранить страницы, которые уже не существуют? И пускать их на переиндексацию именно сейчас, когда формально для системы этого домена уже не существует? Создается впечатление, что очередь на индексацию живет собственной жизнью, иногда обращаясь к основному индексу за "свежим мясом". В отсутствии такового начинает рыться по собственным закромам, чтобы не сидеть без дела. Соответственно, кроме мусора там мало чего полезного. Со стороны Google и Rambler ничего не похожего не наблюдаю. Возможно, именно поэтому после бана робот Я продолжает индексацию сайтов. 2). Основное зеркало сайта было возвращено в индекс после апдейта 06.11 . Морда + "глубоко" зарытых вовнутрь ~750 страниц. Внутреннее ссылочное полностью утеряно, по НЧ эти страницы появляются в выдаче сразу после аналогичных экспериментального сайта-копии, который давно уже ведет собственную "жизнь" (внешние ссылки на копию не проставлялись специально, по каталогам не прогонялся). По ВЧ морда вернулась на позиции, которые занимала до выпадения.

355

Deni

11 ноября 2006, 06:14

#11

HoSStiA:

Как ни верти, вторые сутки - ни одного визита "I". Причем все остальные заходят - и "Ine", и "Dyatel; C", и даже "P" вчера под конец дня развил небурную, но деятельность. ;)

Значит, теперь все будет ХО-РО-ШО! И это радует =))))) Радует и то, что на _той_ стороне еще остались _обычные_люди_, а не только роботы-автоматы ;) Почерк характерный ...

Эх...... Вашими бы устами да мед пить.......... :)

А что мы с Вами будем писать в этой теме если и через 10 дней роботы к нам ходить не будут совсем?

А я боюсь что именно так и будет .......... 🙅

144

HoSStiA

11 ноября 2006, 12:10

#12

Deni:
Эх...... Вашими бы устами да мед пить.......... :)

А что мы с Вами будем писать в этой теме если и через 10 дней роботы к нам ходить не будут совсем?
А я боюсь что именно так и будет .......... 🙅

Не боись - ко мне уже приходили, правда поздновато ... часов в 10 утра. Суббота, IMHO ... =))

Снова собирали мусор ;) Но 404 стало поменьше.

355

Deni

11 ноября 2006, 12:35

#13

HoSStiA, Это конечно смешно....... Но у меня он зашел в 10-08-04 (сек) и вышел 10-08-18 (сек)

Скушал за 14 секунд 25 страниц и ушел.

Однако......Мы под одним колпаком :)

Р

258

Разработчик

11 ноября 2006, 15:53

#14

HoSStiA, Deni, флуд развели 🚬

И ходят к Вам роботы - плохо, и не ходят - ещё хуже :D

Google: E-E-A-T не является фактором ранжирования

Все что нужно знать о DDоS-атаках грамотному менеджеру