Как узнать какие страницы во время апдейта базы проиндексировал робот?

B
На сайте с 09.12.2003
Offline
103
643

Собственно subj. Никогда этим вопросом не страдал, поэтому понятия не имею. Есть Webalizer, если там есть такая информация, подскажите, пожалуйста, в каком пункте.

Григорий Селезнев
На сайте с 25.09.2001
Offline
298
#1

пардон! индексация и апдейт - разные процессы ... апдейт - перерасчет внутренних словарей, коэффициентов, вИЦов, тИЦов и прочего ... может робот то и не "индексирует" в процессе "апдейта" ?

C
На сайте с 19.09.2001
Offline
120
#2

Blaster, лучше всего профильтровать логи по User-agent нужного поисковика. Оттуда сразу все видно. Не знаю, есть ли в лог-анализаторах аналогичные функции.

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)
Каширин
На сайте с 03.01.2004
Offline
1031
#3

Я тоже честно говоря, не очень понимаю связи между апдейтом и индексацией. Апдейт, то есть со стороны пользователя - изменение в результатах выдачи, может происходить и без индексации. То есть, как я вижу, вы можете съехать с 5-го на 20-е места, а робот ваши страницы между апдейтами не посещал.

Но мне кажется, это вопрос применения терминологии, а вот что хотел спросить Студент Blaster - не понятно, пусть уточняет. Какие страницы сайта проиндексированы? по каким страницам произошло обновление в выдаче?

B
На сайте с 09.12.2003
Offline
103
#4

Обьясню на пальцах, чтобы не запутывать:

По запросу ***** страница а1 была на 5 месте;

после чего я сделал некоторые изменения внутреннего характера (напр. увеличил концентрацию слова *****). Размер страницы не изменился (в КБ).

Прошло 2 недели, страница осталась на 5-м месте. За это время, например, Яндекс несколько раз обновлял базу. Как мне узнать какая страница осталась на 5-м месте: еще старая или уже новая? Конечно, можно посмотреть размер (но в данном случае он не изменился), дату изменения (но я не передаю last modified) и наконец нажать "найденные слова", где сверить с сохранненой версией Яндекса.

Но если таких страниц (и запросов), к примеру, хотя бы 30 уже хочется просто посмотреть на каких страницах в эту субботу побывал робот Яндекса.

Вроде бы изьяснился.

C
На сайте с 19.09.2001
Offline
120
#5

Blaster, исследуйте лог-файлы, в них в 35 строках будет вся нужная Вам информация, только эти строки надо сначала выделить.

Вы действительно перепутали индексацию сайта и апдейт базы поисковика.

Индексация -- это процесс посещения роботам страниц сайтов и их сохранение. Апдейт (базы) поисковой системы -- это пересчет всех параметров во время которого и появляются в результатах поиска новые версии страниц, новые ссылки на страницы начинают учитываться, etc.

K
На сайте с 31.01.2001
Offline
737
#6

Blaster, Webalizer такой информации не дает. Возьмите логи сайта и ищите там строки, содержащие Yandex/ (с учетом регистра). Например wingrep-ом. Там ответ на ваш вопрос.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий