Яндекс не ходит по новым сайтам

YuraZ
На сайте с 05.06.2006
Offline
95
#51
DNS:
Заметил такую интересную особенность: если заходит бот Yandex/1.01.001 (compatible; Win16; I) Russian (ru, uk;q=0.8, be;q=0.8, en;q=0.7) - сайт индексируется; а вот если Yandex/1.01.001 (compatible; Win16; I) Russian (ru, uk, be, en, *;q=0.01) - ждать индексации придется долго.

ИМХО значение (ru, uk, be, en, *;q=0.01) указывает на приоритетность идексации.

по-моему БСК, это обычный для любого http-клиента заголовок (бота или браузера без разницы) Accept-Language.

DNS
На сайте с 20.11.2006
Offline
58
DNS
#52
YuraZ:
по-моему БСК, это обычный для любого http-клиента заголовок (бота или браузера без разницы) Accept-Language.

Согласен.

Но тогда почему значения так существенно отличаются?

Есть разница между 0,8 и 0,01?

После первого сайт индексируется, после второго - нет.

Кто спасет одного человека, тот спасет целый мир... (http://www.deti.msk.ru)
A
На сайте с 28.10.2006
Offline
56
#53
DNS:
Яндекс предпочитает пожирать сайты в домене ru. Все остальные зоны он почему-то игнорирует.

Это мягко говоря неверно.

У меня русскоязычный сайт в зоне com индексируется яндексом.

Правда как-то странно.

Страницы попадают в индекс через пару месяцев после появления.

Но, с другой стороны и ссылок внешних было очень мало.

YuraZ
На сайте с 05.06.2006
Offline
95
#54
DNS:
Но тогда почему значения так существенно отличаются?
Есть разница между 0,8 и 0,01?

отличаются, видимо, потому что разные версии ботов и их так закодили. Имхо по принципу вот торкнуло программеров воткнуть именно такую циферку при написании. И вообще Accept-Language очень нечасто движками сайтов учитывается.

После первого сайт индексируется, после второго - нет.

не читал, но осуждаю. :D Прям русская рулетка получается, 1 бот зайдет, дело в шляпе, другой - смерть.

В общем, я бы не стал искать причину индексации\неиндексации сайтов в http-заголовках, которые отсылаются ботом, вот чесное слово.

DNS
На сайте с 20.11.2006
Offline
58
DNS
#55
YuraZ:
отличаются, видимо, потому что разные версии ботов и их так закодили. Имхо по принципу вот торкнуло программеров воткнуть именно такую циферку при написании.

Программеры просто так никогда ничего не делают - сужу по своему опыту.

ИМХО

1. Быстроробот (D) проглатывает страницу (морду).

2. Проводится анализ слов на странице.

3.1. Если были обнаружены некие стоп-слова, на сайт засылается бот (I который 0,01), который отслеживает наличие этих слов и сайт в индекс не включается до устранения.

3.2. Если неких стоп-слов на сайте не обнаружено, заходит бот (I который 0,8) и с аппетитом пожирает сайт, после чего тот попадает в индекс.

R
На сайте с 26.03.2004
Offline
40
#56
DNS:


1. Быстроробот (D) проглатывает страницу (морду).
.

D это не быстроробот, а Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

Вообще, так видно что гдето робот шарит, но похоже вяло...

OBGONI.РУ - стартовая страница seo-мастера (http://www.obgoni.ru/)
DNS
На сайте с 20.11.2006
Offline
58
DNS
#57
Radionov:
D это не быстроробот

От этого суть теории не меняется.

Неважно, был сайт добавлен через аддурлку или найден по ссылке, все равно он подвергается анализу на наличие неких слов (имхо).

На мой сателлит, который не индексируется, по Яндексу ссылается страниц — 651, сайтов — не менее 185.

Y
На сайте с 02.01.2006
Offline
138
#58
Неважно, был сайт добавлен через аддурлку или найден по ссылке, все равно он подвергается анализу на наличие неких слов (имхо).

не верю (С) мои последние сайты вообще не имеют на себе никаких признаков оптимизации контента. Везде нормальные читаемые тайтлы, нормальный контент, все сайты не сателиты, а сделаны для людей и с нужными сервисами.

lastadm
На сайте с 15.01.2006
Offline
169
#59
Yukko:
нормальный контент

Это какой? :)

Изучаем правила форума ()
DNS
На сайте с 20.11.2006
Offline
58
DNS
#60
Yukko:
мои последние сайты вообще не имеют на себе никаких признаков оптимизации контента

Мой сайт тоже сделан для людей и в других поисковых системах присутствует в ТОП1 по нужным мне запросам.

Вероятно, что это автоматический фильтр против СПАМа.

Предлагаю обсудить это в отдельной теме.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий