Yandex не индексирует целый год!

123 4
N
На сайте с 25.12.2003
Offline
1
2142

Hi!

Мы никогда не занимались раскруткой сайта- зарегистрировали его в основных поисковиках несколько лет назад и забыли. На случаи, когда наши клиенты жаловались на отсутствие информации или приводили устаревшие цены, которые "нашли в интернете" и подобные конфузы не обращали особого внимания.

Я сам пользуюсь Рэмблером, но в декабре попробовал поискать инфу с нашего сайта через Яндекс. И мягко говоря, офигел. Главную страницу Яндекс, понятное дело, находит. Но время последней индексации выдает где месяц-два назад, прайсы некоторые еще с лета не переиндексированы, но некоторые странички не находит вообще!

При этом сайт чрезвычайно прост, обычная 3-уровневая структура, обычный HTML без фреймов, скриптов, спама, и т.п. Количество страниц - не больше сотни, размер страницы - ~10 кБ + графика ~50 кБ.

В течение двух недель изучал доки на самом Яндексе, другие web-конференции по поисковым системам, по всем расчетам ДОЛЖНО работать.

Вот пример страницы:

http://www.watson.ru/izm/info/pk60.shtml

По ключевым словам "ПК-60 ВАТСОН" Яндекс еще в первых числах этого года ничего не находил (есть независимые свидетели, с кем обсуждал проблему). После переписки с персоналом Яндекса или (что скорее всего) после долгих экспериментов со страницей регистрации, на сегодня он, наконец, эту страницу увидел.

Тем не менее, все-таки хочется понять, по какой причине происходят такие длительные задержки в переиндексации, что мы сделали неправильно?

Понятно, что возможности для оптимизации есть (был бы благодарен за советы), но почему страница СОВСЕМ не индексировалась, это мне непонятно.

В завершение хочу привести праздничный ответ представителя Яндекса на мои вопросы.

Красноречиво и "по существу". Видимо, еще продолжают отмечать.

По-моему, им просто наплевать.:(

-------- цитата ----------

Во-первых, мы никогда не анализируем поисковую выдачу по отдельным

сайтам/запросам, не пробуем ничего поискать, тем более по запросам.

В крайнем случае можем посмотреть проиндексирована ли какая конкретная

страница, если нам сообщат при этом ее точный URL. Но не более того.

Во-вторых, право достойного представления своей информации на выдаче

среди миллионов документов, находящихся в базе поисковой машины, мы

полностью оставляем за сайтовладельцами и их командой. Стандартно

структурированные сайты, нормальных размеров, без всяких 'штучек',

постоянно поддерживаемые в нормальном рабочем состоянии, размещенные

на стабильно работающих серверах, не имеют проблем с индексированием

по определению. Их владельцы нам никогда не пишут. И читают хелпы.

В частности -

<Робот Яндекса работает самостоятельно (в автоматическом режиме).

Если сайт включен в базу Яндекса, то он будет последовательно обойден

роботом.>

Однако при этом -

<Робот оптимизирует обход Сети таким образом, чтобы чаще посещать

наиболее изменяемые сервера.>

В-третьих, мы не ждем от Вас согласия или одобрения наших действий.

Яндекс просто работает - обрабатывает огромную массу информации для

достойного представления ее пользователям-искателям. Устаревшие,

кривые, ненужные, 'мусорные' страницы, полузабытые или заброшенные

сайты <с точки зрения нашей технологии обработки и поиска информации>

должны, если не удаляться, то быть в самом конце выдачи. Именно о

такой оптимизации предпоисковой обработки и поиска говорится выше.

И именно это мы называем <нормальным режимом> работы поисковой машины

со всей информацией, со всеми сайтами одновременно. Если не желаете

быть аутсайдером, просто внимательно читайте наши советы -

http://www.yandex.ru/info/webmaster.html

http://www.yandex.ru/info/webmaster7.html

Всего доброго.

Отвечать не надо.

Это было просто расширенное праздничное письмо ;-)

-------- конец цитаты ------------

[Удален]
#1

nestor, все просто. Если страницы сайта не обновляются, то робот на них все равно заходит, только с каждым разом реже. Если не обновлять сайт год, то потом робота можно очень долго ждать. Лечиться это все обновлением сайта + простановкой на него ссылок с достаточно весомых страниц.

А письмо Вы видно в суппорт Яндекса "приятное и вежливое" написали, судя по ответу... :)

N
На сайте с 25.12.2003
Offline
1
#2

Scaramush

Кто-то что-то недопонял.

Я привел пример страницы, которая обновлялась последний раз 4 февраля (а создана в октябре 2002 года). Но это вовсе не означает, что с тех пор на сайте вовсе не было изменений. Его специфика и не подразумевает ежедневного обновления, последнее изменение было месяц назад.

Так или иначе, если робот заходил даже раз в месяц (я же вижу это по логам, да и некоторые страницы индексированы ноябрем), все равно непонятно, почему не найдены страницы гораздо более старые. ВООБЩЕ не найдены, хотя на них идет прямая ссылка с соответствующей, регулярно обновляемой индексной страницы.

Письмо в саппорт я написал информативное и корректное, поверьте.

А
На сайте с 29.07.2003
Offline
58
#3

У меня есть довольно интересный опыт, возможно чем то тебе поможет.

Ситуация - заброшенный сайт (последнее обновление 2 года назад).

За счет движка (в частности - постоянная отдача более-менее свежей даты последней модификации документа) при практически полном отстуствии на него внешних ссылок он получает ~200 хостов с яндекса (и порядка ~1500 с поисковых систем вообще).

Повторюсь - сайт был сделан одноразово и заброшен...

Возможно - стоит хотя бы запустить по cron раз в ~неделю обход всех страниц и touch на них.

p.s.

Последний раз робот яндекса был 07 Янв 2004 - 23:03 и смотрел 40 страниц (более старые данные сейчас достать неудобно).

[Удален]
#4

nestor, сайт в личку кинь, пожалуйста, посмотреть.

N
На сайте с 25.12.2003
Offline
1
#5

Альен, так же нечестно.

Задача не накрутить счетчик любыми путями, а дать возможность людям найти информацию. А то даже случается парадоксальная ситуация, когда материалы, украденные у нас же, находятся в Яндексе быстрее, чем наш сайт.

Scaramush, я же давал ссылку в начале.

[Удален]
#6
Как писал nestor
Scaramush, я же давал ссылку в начале.

Блин, извини... :) Наверное, спать пора... :)

Альен, кстати, прав. Ссылок надо бы побольше.

А так, собственно, ничего военного (кроме кейвордов... :) ). Указанная тобой страница проиндексирована. Яндекс на сайте знает 230 страниц или что-то около того. По соответствующим запросам вроде находит, я, правда, не специалист и запросы "на глазок" прикидывал.

А то что Яндекс медленно ходит, так это следствие вот этого:

Мы никогда не занимались раскруткой сайта- зарегистрировали его в основных поисковиках несколько лет назад и забыли.

Все-таки постарайся поставить побольше ссылок с тематически близких ресурсов и обновлять контент чаще и все будет в порядке.

Sonja
На сайте с 05.06.2003
Offline
170
#7
устаревшие цены, которые "нашли в интернете"

А причем здесь Яндекс? Закрывайте от индексации, либо удаляйте старые прайсы. Возможно, устаревшие прайсы -- некорректная работа вашего ресурса.

Вот пример страницы:
http://www.watson.ru/izm/info/pk60.shtml .....
почему страница СОВСЕМ не индексировалась, это мне непонятно. .

Как давно существует страница?

В завершение хочу привести праздничный ответ представителя Яндекса на мои вопросы.
Красноречиво и "по существу". Видимо, еще продолжают отмечать.
По-моему, им просто наплевать. .

Ответ подробный и дружелюбный, зря Вы так.

P.S. Robots.txt составлен неправильно, хотя Яндекс и не проиндексировал запрещенные директории или на сайте их и нет… тогда зачем они запрещены?

С уважением, Ольга Лебедева
N
На сайте с 25.12.2003
Offline
1
#8

Sonja, я наверное, плохо объясняю :(

А причем здесь Яндекс? Закрывайте от индексации, либо удаляйте старые прайсы.

С точки зрения робота, прайс - обычная страница HTML. Меняется может раза два в месяц. Зачем же их закрывать от индексации? Это противоестественно. Наоборот, хотелось бы, чтобы их находили!

И удалять зачем? Ведь его место занимает новый, с тем же именем. А вот поисковая система выдает кусок текста из поза-поза-позапрошлой версии.

Причем здесь Яндекс? Почему-то гугль или рэмблер действительно "просто работают", без шаманства.

Как давно существует страница?

И об этом я тоже говорил (если речь идет о странице, УРЛ которой я дал). Как минимум с октября 2002 года! А сайт - с 1998 года.

Ответ подробный и дружелюбный, зря Вы так.

Ответ большой, но совершенно не в кассу.

Видно, что она даже одним глазом не смотрела на сайт, на площадку, на которой он расположен, и лишь огульно обвинила меня во всех грехах, начиная от недоступности сайта, динамичного закрытого по прямым ссылкам контента (см. webmaster7.html) и т.п. вплоть до RTFM. Хотя я предварительно потратил три дня на побуквенное изучение ихних доков.

И НИКАКОЙ конкретики. Ну совершенно. Я расцениваю такой ответ как плевок в лицо клиенту.

Но непосредственного отношения к проблеме это не имеет. Косвенное, может быть, т.к. говорит о корпоративной политике. Не удивлюсь, если имел место технический сбой в какой-нибудь БД, но неужели трудно просто сказать - "господа, у вас все нормально, ждите"? Речь ведь не шла о претензиях с нашей стороны.

Robots.txt составлен неправильно, хотя Яндекс и не проиндексировал запрещенные директории или на сайте их и нет… тогда зачем они запрещены?

Не понял вопроса. Чем не нравится файл? Кстати, это стандартный текст, он был прописан не мной, а хостером во время установки службы Яндекс-сайт. В нем ничего не запрещено.

N
На сайте с 25.12.2003
Offline
1
#9

Scaramush,

ничего военного (кроме кейвордов...

Разве что на главной странице. Но это же не криминал. Список слов в таком виде существует с самого начала, тогда (в 98-м) Яндекс еще свои правила не диктовал, вроде количества кейвордов. В остальных документах их адекватное количество.

Указанная тобой страница проиндексирована.

Я отвечаю, что по крайней мере на 25 декабря Яндекс про нее не знал.

По соответствующим запросам вроде находит, я, правда, не специалист и запросы "на глазок" прикидывал.

Вот именно! И я так - "вроде находит, и ладно", а потом как начал повнимательнее проверять, ужаснулся :(

Все-таки постарайся поставить побольше ссылок с тематически близких ресурсов и обновлять контент чаще и все будет в порядке.

С одной стороны - безусловно, но с другой - мы же не новости поп-индустрии печатаем... В наши описания вложен большой труд, и значимость их не уменьшается от того, что они не меняются год или больше.

Единственный возможный вариант интенсификации - надавить на сайты-плагиаторы, чтобы по крайней мере ссылались на нас.

Итак, если криминала не найдено, я делаю вывод, что Яндекс, несмотря на свою раскрученность и известность, работает не лучшим образом. :(

Polite Moose
На сайте с 22.04.2002
Offline
85
#10
Я расцениваю такой ответ как плевок в лицо клиенту.

Вы подписывали с Яндексом договор? Денег платили?

При чем тут клиент?

Удачи, доброго пива (http://www.fifth-ocean.ru/) и настроения! Релевантность определяется не тИЦ, не ВИЦ, не количеством ссылок, не частотой ключевого слова, а соответствием запросу!
123 4

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий