Вопрос про 404 редирект и Яндекс

302 редирект - в корне не верно, он напрямую не ставит запрет на индексацию.

если вы в самом движке можете по какой либо логике определить, нужна ли эта страница или нет, то отдать метатегом запрет индексации этой страницы, или отдать ответ сервера 404.

Это просто и вернее будет!

В чем смысл - страница не должна показываться, но закрывать вы её не хотите, т.к. она реально существует?

Пользователи эту страницу посмотреть не могут, т.к. с неё стоит редирект.

Яндексу 302-й редирект вообще ничего не говорит, и 404-ю он по нему не увидит. Ставьте уже тогда 301-й.

Но и в этом случае все равно не ясно зачем вообще редирект нужен - её содержимого все равно никто не видит.

Если вы уже распознали такую страницу, то пусть вместо 302-го она сразу 404-й ответ отдает.

302 насколько я знаю это временный редирект, т.е. он не говорит поисковику выкинуть из индекса страницу с которой идет редирект

Коллеги! 404 ошибку я сразу поставить не могу технически (мне так программист говорит мой), но идея с noindex мне очень понравилась, большое за нее спасибо. Почему я спросил именно про Яндекс, гугл распознает эти страницы, как страницы с ошибкой 404. С его стороны все корректно. Меня как раз интересовало как поведет себя Яндекс, я конечно ему задал этот вопрос, но когда соизволит он ответить, не ясно.

Так постановка <meta name="robots" content="noindex, nofollow"/> не сильно отличается от отдачи 404 HTTP например так <?php header($_SERVER['SERVER_PROTOCOL']." 404 Not Found"); ?> Понятно, что по идее контента быть не должно, но раз не выходит убрать, куда деваться.

Да, мне тоже кажется эта идея более изящной, отдавать средствами php отказ в индексировании. Меня вообще вот что смутило, я в вебмастере, пробую посмотреть глазами Яндекса, на свою проблемную страницу. В заголовках видно, что редиректит он на 404.php, но весь контент Яша видит. А вот когда я смотрю глазами Яндекса на страницу, у которой стоит 301 редирект, то яндекс ничего не видит на странице, он видит только редирект на другую.

Но, сегодня в вебмастере Яндекс показал ошибки индексации, и говорит, что с моих проблемных страниц был 301(!) редирект, а не 302. И меня вот мучает, что будет делать дальше Яндекс.

Моя проблема, свойственна практически всем сайтам на Битрикс, которые используют многосайтовость и тусуют единый контент по нескольким сайтам, или хотя бы в пределах одного сайта.

Вот пример http://euroset.ru/catalog/photo-video/accessories-multimedia/accum/acoustics/ , в адресе лишнее /acoustics/, но сама по себе страница реально существует, так как все выстроено на инфоблоках, и куда его не вставь, он будет показываться. Сайт евросети делает редирект 301 на 404 ошибку.

Не совсем на 404-ю. У них 301-й редирект ведёт на страницу http://euroset.ru/#error404, которая отдаёт 200-й ответ! Т.е. она по-хорошему доступна для индексирования. Поэтому Евросеть здесь не лучший пример для подражания.

Лучше средствами php 404-ю отдать.

Коллеги! Получил ответ от Яндекса, наверное это будет многим полезно:

Описанная Вами схема настройки редиректа со временем приведет к удалению подобных страниц из поиска. Ускорить данный процесс Вы можете, добавляя их напрямую в форму http://webmaster.yandex.ru/delurl.xml. Также, если такие страницы имеют однотипные адреса, то удобно будет запретить их индексирование по какой-либо маске в файле robots.txt, только если это не затронет индексирование действительно нужных страниц. Это тоже ускорит процесс удаления, который в таком случае займет, ориентировочно, 2 недели.

Вот вопрос, который задавался:

> Здравствуй, уважаемый Яндекс!

> Скажите пожалуйста, у меня встал вопрос насчет правильной обработки 404 ошибки. Из-за проблем в создании сайта, у меня вылезли страницы, которые не должны были показываться на сайте и из-за этого началось глобальное дублирование адресов страниц.

> Я реализовал на сайте проверку адреса, которая проверят адрес, и если эта страница не должна показываться на сайте, то делает редирект 302 на страницу 404.php

> Вот пример: в индексе Яндекса есть страница с моего сайта www.RadioGps.ru/radio_communication/kollimatornye_pritsely/hakko/?&sort=name , эта страница не должна показываться у меня на сайте, ссылки на нее вылезли из-за ошибки при разработке. При заходе на эту страницу сервер выдает следующее:

> -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

> HTTP/1.1 302 Found

> Server: nginx/0.8.53

> Date: Tue, 24 Apr 2012 07:09:05 GMT

> Content-Type: text/html; charset=windows-1251

> Connection: keep-alive

> X-Powered-By: PHP/5.2.14

> P3P: policyref="/bitrix/p3p.xml", CP="NON DSP COR CUR ADM DEV PSA PSD OUR UNR BUS UNI COM NAV INT DEM STA"

> X-Powered-CMS: Bitrix Site Manager (6a509bba820e22224454b81e87acbbcb)

> Set-Cookie: PHPSESSID=61016521ee16363ddbcb39328c9b77a8; path=/; domain=radiogps.ru

> Expires: Thu, 19 Nov 1981 08:52:00 GMT

> Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

> Pragma: no-cache

> Set-Cookie: BITRIX_SM_GUEST_ID=248360; expires=Fri, 19-Apr-2013 07:09:05 GMT; path=/; domain=radiogps.ru

> Set-Cookie: BITRIX_SM_LAST_VISIT=24.04.2012+11%3A09%3A05; expires=Fri, 19-Apr-2013 07:09:05 GMT; path=/; domain=radiogps.ru

> Request-URI: http://www.radiogps.ru/404.php

> Content-Location: http://www.radiogps.ru/404.php

> Location: http://www.radiogps.ru/404.php

> ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------

> сервер переадресовывает на страницу 404.php, при заходе на которую сервер выдает уже 404 ошибку

> ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

> HTTP/1.1 404 Not Found

> Server: nginx/0.8.53

> Date: Tue, 24 Apr 2012 07:14:32 GMT

> Content-Type: text/html; charset=windows-1251

> Connection: keep-alive

> X-Powered-By: PHP/5.2.14

> P3P: policyref="/bitrix/p3p.xml", CP="NON DSP COR CUR ADM DEV PSA PSD OUR UNR BUS UNI COM NAV INT DEM STA"

> X-Powered-CMS: Bitrix Site Manager (6a509bba820e22224454b81e87acbbcb)

> Set-Cookie: PHPSESSID=e152ee21fb8de0edbadfb5c1666b68c1; path=/; domain=radiogps.ru

> Expires: Thu, 19 Nov 1981 08:52:00 GMT

> Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

> Pragma: no-cache

> Set-Cookie: BITRIX_SM_GUEST_ID=248360; expires=Fri, 19-Apr-2013 07:14:32 GMT; path=/; domain=radiogps.ru

> Set-Cookie: BITRIX_SM_LAST_VISIT=24.04.2012+11%3A14%3A32; expires=Fri, 19-Apr-2013 07:14:32 GMT; path=/; domain=radiogps.ru

> --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

> Скажите пожалуйста, является ли такая обработка корректной со стороны Яндекса. И удалите ли Яндекс из индекса страницу www.RadioGps.ru/radio_communication/kollimatornye_pritsely/hakko/?&sort=name

> Большое спасибо! Очень надеюсь на помощь в моем вопросе.