Страницы сайта не включены в индекс из-за ошибки 404

12
Allality
На сайте с 15.05.2010
Offline
75
1069

Есть сайт, которому более 9 месяцев. В Яндексе всегда была только главная страница сайта, категории сайта проиндексированы, но в индексе их нет из-за ошибки 404 ("Ресурс не найден"), вот скриншот из Яндекс.Вебмастера:

Проблем с хостингом нет, т.е. страницы грузятся всегда быстро и без проблем во всех браузерах, т.е. проблема видимо в том, что Яндекс видит вместо:

http://www.site.ru/c/17/kategoriya-nomer-semnadcat.html

Вот это (см. скриншот):

http://www.site.ru/c/17

и это:

http://www.site.ru/c/17/

CMS самописная и очень простая. Для работы URL используется mod_rewrite.

Подскажите, почему Яндекс не видит эти страницы? Что можно сделать, чтобы избавиться от этой ошибки?

K
На сайте с 31.01.2001
Offline
737
#1
Allality:
CMS самописная и очень простая.

Подскажите, почему Яндекс не видит эти страницы? Что можно сделать, чтобы избавиться от этой ошибки?

Нужно обратиться к автору CMS и объяснить, что если он все не исправит, то вы оторвете ему руки прямо сейчас.

Allality:
категории сайта проиндексированы, но в индексе их нет

Так не бывает. Проиндексирован - это значит есть в индексе. Значит отдает код 200, а не 404 и т.п.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Allality
На сайте с 15.05.2010
Offline
75
#2
Kost:
Нужно обратиться к автору CMS и объяснить, что если он все не исправит, то вы оторвете ему руки прямо сейчас.

Сам себе руки отрывать не буду. :) Думаете дело в CMS? Там все очень просто. mod_rewrite переписывает URL в что-то вроде http://www.site.ru/kategoriya.php?nomer=17, дальше обычный наипростейший PHP+MySQL...

Правило в mod_rewrite выглядит так:

RewriteRule ^c/([0-9]+)/([a-zA-Z0-9_-]+)\.html$ kategoriya.php?katId=$1

Так не бывает. Проиндексирован - это значит есть в индексе. Значит отдает код 200, а не 404 и т.п.

Я имею ввиду, что Яндекс прошел по ссылкам, но в индекс их не добавил из-за ошибки 404... Т.е. он видит не нормальные URL, а те URL, которые видны на скриншоте.

SmileP
На сайте с 18.02.2010
Offline
386
#3
Allality:
Я имею ввиду, что Яндекс прошел по ссылкам, но в индекс их не добавил из-за ошибки 404... Т.е. он видит не нормальные URL, а те URL, которые видны на скриншоте.

Значит косяк CMS.

Проверка HTTP заголовков сайта в помощь.

Allality
На сайте с 15.05.2010
Offline
75
#4
SmileP:
Значит косяк CMS.
Проверка HTTP заголовков сайта в помощь.

А в чем косяк может заключаться, если в браузерах все идеально работает?

Проверил URL данным инструментом, ответ:

HTTP/1.1 200 OK

Date: Tue, 19 Jul 2011 12:28:51 GMT

Server: Apache/2.0.63-lk.d (Unix) mod_ssl/2.0.63-lk.d OpenSSL/0.9.8o mod_dp20/0.99.2 mod_python/3.3.1 Python/2.6.5 mod_ruby/1.2.6 Ruby/1.8.7(2010-08-16) mod_wsgi/3.3

Content-Type: text/html; charset=utf-8

A
На сайте с 16.06.2010
Offline
16
#5

Allality

Проблема только в ЦМС.

Может так сделать?

RewriteRule ^c/([0-9]+)/$ kategoriya.php?katId=$1

Ну а вообще нужно смотреть сайт.

K
На сайте с 31.01.2001
Offline
737
#6
Allality:
А в чем косяк может заключаться, если в браузерах все идеально работает?

В том, что браузер показывает страницу и при коде 200, и при коде 404.

А робот индексирует только если код 200.

Косяк у вас в голове прежде всего.

И если не желаете показывать сайт, то я закрою тему, больше обсуждать нечего.

Allality
На сайте с 15.05.2010
Offline
75
#7
arnowtaa:
Allality
Проблема только в ЦМС.
Может так сделать?
RewriteRule ^c/([0-9]+)/$ kategoriya.php?katId=$1
Ну а вообще нужно смотреть сайт.

Ссылка на сайт ниже...

Kost:
В том, что браузер показывает страницу и при коде 200, и при коде 404.
А робот индексирует только если код 200.

Выше проверил инструментом, код 200.

Косяк у вас в голове прежде всего.
И если не желаете показывать сайт, то я закрою тему, больше обсуждать нечего.

Грубить абсолютно не зачем. Я о том, что браузер может при 404 ошибке грузить сайт не знал и даже не догадывался.

Сайт http://internetmagazinsmolensk.ru/

Allality добавил 19.07.2011 в 18:09

arnowtaa:

RewriteRule ^c/([0-9]+)/$ kategoriya.php?katId=$1

Так редиректы не работают...

Allality
На сайте с 15.05.2010
Offline
75
#8

Несколько десятков человек посмотрели ссылку... Никто ничего не посоветует?

SmileP
На сайте с 18.02.2010
Offline
386
#9
Allality:
Несколько десятков человек посмотрели ссылку...

Пишите платонам, коли так уверенны в коде.

Allality
На сайте с 15.05.2010
Offline
75
#10
SmileP:
Пишите платонам, коли так уверенны в коде.

Напишу, но я от них ни разу не получал ответа по другим вопросам, подозреваю, что и сейчас прожду 2-3 недели зря и получу автоматический ответ. Может что-то посоветуете на счет того, что с кодом может быть не так?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий