Индексация в Яндексе

12
Sergey Petrenko
На сайте с 23.10.2000
Offline
482
1175

По моим наблюдением, период индексации в Яндексе непостоянен. Я уже писал здесь, что иногда документ индексируется в течение нескольких часов. Но видимо, иногда - вчера отослал несколько страниц и они до сих пор не проиндексированы.

Интересно также, в течение какого времени индексируются документы по ссылкам с посланной страницы. Старая версия форума, которая была на webservis`е, проиндексировалась полностью довольно быстро, и до сих пор находится в базе. После перезда на бесплатно.ру я сделал страницу с линками на все страницы и отослал в Яндекс. Сама страница в базе есть, но ни одна страница форума по ссылкам еще не найдена. Более того, не попадают в базу и страницы форума, отосланные вручную. В чем дело, не пойму. Может, раз уж здесь есть люди из Яндекса, они прояснят ситуацию?

I
На сайте с 15.12.2000
Offline
80
#1

А как Вы проверяте?

Надо так: #url="ваш_урл"

По идее, если все добавилось (об этом сообщает добаляющий скрипт) в выдаче ваш документ должен быть уже через 15 минут.

Илья

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#2

Несмотря на сообщение о добавлении, все равно не все страницы проявились в базе. Ну да ладно. Меня больше интересует другой вопрос - сколько времени требуется на обход всех ссылок на страницы?

И еще - здесь приводились примеры, как страницы меняют свое местоположение в результатах поиска. Это только из-за нагрузки на серверы или могут быть и другие причины?

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#3

Хм, все равно ничего не понятно. Страницы в базу добавились, потом исчезли. В понедельник добавил снова, они там так и не появились. Ничего не понимаю, в чем тут дело? При этом старые страницы в базе есть.

Опять-таки, при поиске постоянно натыкаюсь на страницы старой версии форума (на вебсервисе), а новые там не появляются. Может, кто-то объяснить, в чем дело?

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#4

Кстати, еще одна непонятка. В базе вчера появились страницы с форума, но это страницы скриптов. Как же так? Я же специально сабмитил страницы с линками на все топики. Или они еще не обработаны? Так уже больше месяца прошло...

07
На сайте с 03.11.2000
Offline
38
007
#5

Ну не знаю, у меня все через несколько часов в их базе появляется, хоть и с фри-хоста.

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#6

Ну, для Яндекса значения не имеет, платный хостинг или нет. Вопрос в том, что, несмотря на заявления о том, что робот пройдет по ссылкам внутрь документа, он за месяц не прошел внутрь страниц, содержащих ссылки на все страницы форума. Это во-первых.

Во-вторых, у меня складывается впечатление, что сразу в базе появляется образ страницы, т.е. титул и метатаги. Только примерно через неделю робот действительно индексирует страницу, и тогда в ссылке на страницу появляется фрагмент ее текста. Только тогда она нормально ищется по словам, часто употребляемым в тексте.

M
На сайте с 06.12.2000
Offline
2
#7

Мне кажется, что яндекс действительно имеет какой-то индивидуальный цикл для разных сайтов. У меня установился - дня в четыре. Например, 19.11 - посланы пять страниц, 22.11 - они в базе целиком. Затем 23.11 - еще пять страниц, целиком проиндексированы они только 26.11.

Затем 29.11 - еще пять, находятся 30.11 и так далее. То есть если послать новые страницы за день до предполагаемого захода - они будут проиндексированы на следующий день железно. Еще через четыре дня можно заслать сразу все что есть - сразу появится.

по поводу title: тут никакой закономерности не замечено. было пару раз, что по тегам документ находился сразу, но только пару раз.

так что я пока ориентируюсь на четыре дня

[This message has been edited by murka (edited 27-12-2000).]

A
На сайте с 09.01.2001
Offline
5
#8

А вот когда вручную рег-шь сайт, что стоит прописывать в Название добавляемого ресурса?

Из личных наблюдений (пардон, если об этом здесь уже говорили, но я не видел): известно, что лучше, когда страница найдена роботом самим, но пока он ее будет искать...

Я как правило вручную добавляю страницу, ссылки с которой ведут на новые (необходимые для рег-и страницы) и робот уже сам их находит и индекс-т.

I
На сайте с 15.12.2000
Offline
80
#9

Полезный совет всем.

Пишите аккуратный robots.txt и оставляйте _только_ интересные, содержательные странички, которые легко читаются сами по себе и не требуют контекста.

Например, на этом форуме стоит оставить

/se/cgi-bin/Ultimate.cgi*

- оглавление

/se/ubb/Forum*

- тексты статей

Все остальные странички можно смело запрещать. (всевозможные реплаи и т.п.)

Короче говоря, представьте себе поисковый образ сайта и постройте его, используя robots.txt

Число скачиваемых за один раз страниц сайта ограничено, в-первых, теми ссылками, которые уже есть в базе робота, а, во-вторых существует просто "верхний предел сеанса". Это число относительно стабильно за последний год, но все-таки может поменяться вместе с дисциплиной и приоритетами обхода, поэтому я его не сообщаю.

Чем меньше "мусора" будет грести робот с вашего сайта, тем "лучше" и "чище" ваш сайт будет представлен в индексе Яндекса.

Илья Сегалович,

Яндекс

Sergey Petrenko
На сайте с 23.10.2000
Offline
482
#10

Илья, подскажите еще, как можно удалить сайт со всеми страницами из базы?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий