Коллеги! Получил ответ от Яндекса, наверное это будет многим полезно:
Описанная Вами схема настройки редиректа со временем приведет к удалению подобных страниц из поиска. Ускорить данный процесс Вы можете, добавляя их напрямую в форму http://webmaster.yandex.ru/delurl.xml. Также, если такие страницы имеют однотипные адреса, то удобно будет запретить их индексирование по какой-либо маске в файле robots.txt, только если это не затронет индексирование действительно нужных страниц. Это тоже ускорит процесс удаления, который в таком случае займет, ориентировочно, 2 недели.
Вот вопрос, который задавался:
> Здравствуй, уважаемый Яндекс!
> Скажите пожалуйста, у меня встал вопрос насчет правильной обработки 404 ошибки. Из-за проблем в создании сайта, у меня вылезли страницы, которые не должны были показываться на сайте и из-за этого началось глобальное дублирование адресов страниц.
> Я реализовал на сайте проверку адреса, которая проверят адрес, и если эта страница не должна показываться на сайте, то делает редирект 302 на страницу 404.php
> Вот пример: в индексе Яндекса есть страница с моего сайта www.RadioGps.ru/radio_communication/kollimatornye_pritsely/hakko/?&sort=name , эта страница не должна показываться у меня на сайте, ссылки на нее вылезли из-за ошибки при разработке. При заходе на эту страницу сервер выдает следующее:
> -----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
> HTTP/1.1 302 Found
> Server: nginx/0.8.53
> Date: Tue, 24 Apr 2012 07:09:05 GMT
> Content-Type: text/html; charset=windows-1251
> Connection: keep-alive
> X-Powered-By: PHP/5.2.14
> P3P: policyref="/bitrix/p3p.xml", CP="NON DSP COR CUR ADM DEV PSA PSD OUR UNR BUS UNI COM NAV INT DEM STA"
> X-Powered-CMS: Bitrix Site Manager (6a509bba820e22224454b81e87acbbcb)
> Set-Cookie: PHPSESSID=61016521ee16363ddbcb39328c9b77a8; path=/; domain=radiogps.ru
> Expires: Thu, 19 Nov 1981 08:52:00 GMT
> Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0
> Pragma: no-cache
> Set-Cookie: BITRIX_SM_GUEST_ID=248360; expires=Fri, 19-Apr-2013 07:09:05 GMT; path=/; domain=radiogps.ru
> Set-Cookie: BITRIX_SM_LAST_VISIT=24.04.2012+11%3A09%3A05; expires=Fri, 19-Apr-2013 07:09:05 GMT; path=/; domain=radiogps.ru
> Request-URI: http://www.radiogps.ru/404.php
> Content-Location: http://www.radiogps.ru/404.php
> Location: http://www.radiogps.ru/404.php
> ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------
> сервер переадресовывает на страницу 404.php, при заходе на которую сервер выдает уже 404 ошибку
> ---------------------------------------------------------------------------------------------------------------------------------------------------------------------------
> HTTP/1.1 404 Not Found
> Date: Tue, 24 Apr 2012 07:14:32 GMT
> Set-Cookie: PHPSESSID=e152ee21fb8de0edbadfb5c1666b68c1; path=/; domain=radiogps.ru
> Set-Cookie: BITRIX_SM_GUEST_ID=248360; expires=Fri, 19-Apr-2013 07:14:32 GMT; path=/; domain=radiogps.ru
> Set-Cookie: BITRIX_SM_LAST_VISIT=24.04.2012+11%3A14%3A32; expires=Fri, 19-Apr-2013 07:14:32 GMT; path=/; domain=radiogps.ru
> --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
> Скажите пожалуйста, является ли такая обработка корректной со стороны Яндекса. И удалите ли Яндекс из индекса страницу www.RadioGps.ru/radio_communication/kollimatornye_pritsely/hakko/?&sort=name
> Большое спасибо! Очень надеюсь на помощь в моем вопросе.
Да, мне тоже кажется эта идея более изящной, отдавать средствами php отказ в индексировании. Меня вообще вот что смутило, я в вебмастере, пробую посмотреть глазами Яндекса, на свою проблемную страницу. В заголовках видно, что редиректит он на 404.php, но весь контент Яша видит. А вот когда я смотрю глазами Яндекса на страницу, у которой стоит 301 редирект, то яндекс ничего не видит на странице, он видит только редирект на другую.
Но, сегодня в вебмастере Яндекс показал ошибки индексации, и говорит, что с моих проблемных страниц был 301(!) редирект, а не 302. И меня вот мучает, что будет делать дальше Яндекс.
Моя проблема, свойственна практически всем сайтам на Битрикс, которые используют многосайтовость и тусуют единый контент по нескольким сайтам, или хотя бы в пределах одного сайта.
Вот пример http://euroset.ru/catalog/photo-video/accessories-multimedia/accum/acoustics/ , в адресе лишнее /acoustics/, но сама по себе страница реально существует, так как все выстроено на инфоблоках, и куда его не вставь, он будет показываться. Сайт евросети делает редирект 301 на 404 ошибку.
Коллеги! 404 ошибку я сразу поставить не могу технически (мне так программист говорит мой), но идея с noindex мне очень понравилась, большое за нее спасибо. Почему я спросил именно про Яндекс, гугл распознает эти страницы, как страницы с ошибкой 404. С его стороны все корректно. Меня как раз интересовало как поведет себя Яндекс, я конечно ему задал этот вопрос, но когда соизволит он ответить, не ясно.
