Посоветуйте, пожалуйста, чайнику!

ДБ
На сайте с 16.07.2007
Offline
0
1115

Проблемка меня сегодня просто шокировала. :mad:

Предыстория следующая.

Сделал я в 2005 году сайт belkin-labs.ru. Все было с ним нормально. Прекрасно он индексировался и замечательно переиндексировался. В начале 2007 года я изменил дизайн, причем адреса страниц оставил прежними. В феврале новый дизайн заработал. Недавно заметил, что сайт не индексируется Яндексом. Сайт я меняю, новые страницы добавляю, файл robots.txt меняю, а выдача все время одна и та же. В выдаче индексированных страниц все страницы старые и всегда одинаковые. Сегодня посмотрел по-внимательнее логи апача. В них видно, что Яндекс на сайт заходит, но интересуется ТОЛЬКО файлом Robots.txt и картинками, и притом картинками старыми, которых на сайте уже давно нет. При этом он получает ответ 404 от сервера. Файлы .php Яндекс вообще не запрашивает даже! Только одна webalta честно ходит по файлам php.

Вот щас посмотрел еще внимательнее. Googlebot тоже ходит по php

ЧТО делать? Посоветуйте, плиз! Или кинте ссылкой, если тема уже обсуждалась.

Nptns
На сайте с 17.09.2003
Offline
78
#1
Дмитрий Белкин:
Сегодня посмотрел по-внимательнее логи апача. В них видно, что Яндекс на сайт заходит, но интересуется ТОЛЬКО

/ru/forum/151004

T.R.O.N
На сайте с 18.05.2004
Offline
314
#2
Дмитрий Белкин:
ЧТО делать? Посоветуйте, плиз!

/ru/forum/optimization-practices/private Вам сюда

От воздержания пока никто не умер. Хотя никто и не родился! Prototype.js был написан теми, кто не знает JavaScript, для тех, кто не знает JavaScript (Richard Cornford)
T
На сайте с 11.08.2005
Offline
181
#3
Дмитрий Белкин:
ЧТО делать? Посоветуйте, плиз! Или кинте ссылкой, если тема уже обсуждалась.

А в чем собственно проблема? В индексе Яндекса 361 страница. http://www.yandex.ru/yandsearch?surl=belkin-labs.ru&pag=u&numdoc=50&rd=0

ДБ
На сайте с 16.07.2007
Offline
0
#4

В том-то и дело, что там должно быть на много меньше. Я уже половину запретил, кучу переделал. Это все старые страницы. И список не меняется.

За ссылки спасибо. Ща посмотрю.

T
На сайте с 11.08.2005
Offline
181
#5
Дмитрий Белкин:
Это все старые страницы. И список не меняется.

С практики скажу, что старые страницы могут "висеть" в индексе Яндекса до 6 мес.

В принципе, Вы можете поставить 301 редирект со старых/ненужных страниц на главную (или более подходящую) страницу. Таким способом Вы не будете терять посетителей, что переходят с Яндекса на несуществующие (старые) страницы.

ДБ
На сайте с 16.07.2007
Offline
0
#6

А то, что Яка одни картинки просит, никто в практике не встречал?

T
На сайте с 11.08.2005
Offline
181
#7

Разные роботы разное индексируют ... видимо основной бот в отпуске...

Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот

Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок

http://webmaster.yandex.ru/faq.xml?id=502499#robot

ДБ
На сайте с 16.07.2007
Offline
0
#8

Вот! Спасибо! Все стало немного понятнее. Действительно, у меня P.

Буду ждать.

progress
На сайте с 11.07.2006
Offline
125
#9

I робота я у себя не видел уже давно, походу с начала смены алгоритма, вчера правда для понта показался, забрал robots.txt и смылся.

F
На сайте с 28.04.2005
Offline
51
#10

Интересно, а возможен вариант, при котором бот получает 404, считает, что сайт недоступен, и как следствие, заходит все реже и реже?

Тогда шанс у новых страниц попасть в индекс невелик. И тогда 301 редирект просто необходим.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий