Индексация в Яндексе - большая пауза?!?

12
alestar
На сайте с 15.11.2002
Offline
14
1069

Не так давно запущенный проект www.comptest.ru набирал посетилелей, большая часть которых приходила с поисковой системы Яндекс (сайт посвящен обзорам компьютерного железа). Сайт постоянно пополняется свежими статьями и новостями, поэтому после каждой индексации (которая обычно была раз в 2-3 недели) количество посетителей с Яндекса увеличивалось.

НО. Почему-то с Нового Года (а именно с 25 декабря 2003) не было ни одной индексации :confused:

С чем это может быть связано?

I
На сайте с 28.10.2002
Offline
108
#1

Ну у меня 2 с половиной месяца как-то не было. И что?

alestar
На сайте с 15.11.2002
Offline
14
#2

Inferno, тогда почему сначала 2-3 недели, а потом уже 5 ничего нет, ведь проект ежедневно обновляется и Яндекс это "видит" при своих индексациях?

D
На сайте с 23.05.2002
Offline
173
#3

У Яндекса традиционные сложности с индексацией.

Помимо "официальных" ограничений еще и "глюки" разные.

Если брать "большую тройку" + Google, то Яндекс

по этому вопросу на последнем месте имхо.

У моего сайта, например, он половины страниц не знает.

alestar
На сайте с 15.11.2002
Offline
14
#4

dweller, думаешь, "глюки"?

типа неповезло ....

может еще могут быть какие-то причины?

VC
На сайте с 27.10.2002
Offline
127
VIC
#5
Как писал alestar
Inferno, тогда почему сначала 2-3 недели, а потом уже 5 ничего нет, ведь проект ежедневно обновляется и Яндекс это "видит" при своих индексациях?

Здесь пол-раздела исписано жалобами "было все хорошо и вдруг пропало". ;) А потом все равно нашлось.

А в этом случае...

------

http://www.yandex.ru/yandsearch?text=&serverurl=www.comptest.ru/&refine=

Результат поиска: страниц — 3653

------

Немало. И динамические. С длинными хвостами session_id.

А вот такие "находки":

http://www.comptest.ru/forum/login.php?sid=5e932...2054793

быстро и эффективно замусоривают базу Яндекса - он может в конце концов прекратить индексировать такой сайт. Благодаря sid все эти URLы уникальны - но страница-то одна.

Нужно править robots.txt - он не прикрывает доступ к служебным страницам форума. А поправив, тут же идти на removeurl и убирать все это добро по шаблону. Тогда Яндекс вернется. :)

Вдогонку: А если хочется, чтобы топики все же индексировались, надо подправить viewtopic.php - чтобы не генерировал sid для роботов.

D
На сайте с 23.05.2002
Offline
173
#6
может еще могут быть какие-то причины?

Конечно, причины могут быть.

Скажем, плохой robots.txt, зеркала, которые еще не склеили и т. п.

Но ведь другие поисковики нормально индексируют

и в таких условиях...

Кстати, на сайте www.comptest.ru "...сайтов — не менее 2",

советую разобраться с дублями. И для начала добавить

в robots.txt строку:

Host: www.comptest.ru

alestar
На сайте с 15.11.2002
Offline
14
#7

VIC, куча ценных замечаний, спасибо! Будем работать...

Вопрос - а разве можно как-то избавиться от сессий, т. е. имею в виду хвостов session_id, чтобы Яндекс интексировал без них?

По поводу сайтов не менее двух.. - зеркал вообще нет, может он считает "вторым" comptest.ru (без www?)

VC
На сайте с 27.10.2002
Offline
127
VIC
#8
Как писал alestar

Вопрос - а разве можно как-то избавиться от сессий, т. е. имею в виду хвостов session_id, чтобы Яндекс интексировал без них?

Совет навскидку. :) Раз уж там phpBB...

Если не хочется париться с php, можно в каталоге forum закрыть от индексирования всё, кроме viewforum.php и viewtopic.php - а на форумы проставить на страницах сайта ссылки вида http://домен.ru/forum/viewforum.php?f=4 безо всяких sid. Этот гнусный идентификатор генерится в самом начале index.php - так что пока бродишь по форумам и веткам, не логинясь и не заходя на главную, sid не появится. :)

Если хочется надежнее - мне тут недавно подсказали интересный вариант... В index.php вставь проверку юзер-агента и если не найдешь слова Mozilla - обходи генерацию сессии. Ни Яндекс, ни Рамблер клонами Мозиллы вроде не притворяются. :) В отличие от браузеров.


По поводу сайтов не менее двух.. - зеркал вообще нет, может он считает "вторым" comptest.ru (без www?)

Именно на это тебе dweller и намекал, советуя прописать Host:

Конечно, со временем Яндекс эти имена сам "склеит", но зачем этого дожидаться? Продиктуй ему сам, что считать твоим доменом, а что алиасом.

alestar
На сайте с 15.11.2002
Offline
14
#9

VIC, дело говоришь 🍻

Все понятно, кроме обхода сессий, так как www.comptest.ru писан на PHP и механизм сессий там работает на автомате, а переписывать это вручную .... 🙄

VC
На сайте с 27.10.2002
Offline
127
VIC
#10

:) Я писал только о форуме. С движком сайта пусть воюет тот, кто его написал...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий