Отдавать 404 для существующей страницы в CMS DLE!

A8
На сайте с 15.06.2013
Offline
21
849

Здравствуйте!

Возник вопрос, как отдавать ошибку 400 для существующих страниц в случае, когда они делают дубль применительно к CMS DLE??

К примеру ,у нас ранее были не закрыты от индексации страницы: /tags/,/page/ и им подобные... Google успешно их схавал, мы опомнились, что забыли закрыть их сразу через robots.txt или meta.

В результатах поиска Google нам начали отображать ненужные проиндексированные страницы, их очень много, от 1000 до 20000 - это дубли тегов, страницы пагинации с дублями контента и прочее...

Мы добавили директиву запрета в robots.txt: Disallow: /page/ Disallow:/tags/ и им подобные, но Google не хочет исключать страницы из поиска. Он пишет: Описание веб-страницы недоступно из-за ограничений в файле robots.txt и продолжает страницу индексировать, естественно, страницы по факту то существуют - возвращается код ошибок (200 ОК) и страницы не удаляются из поиска.

Хочется отправить данные страницы по 404, а лучше даже по 410 Gone, чтобы быстро исключить их из индекса Google, но сами страницы физически не удалять. Как это сделать?

Возможно есть скрипты для этого, или еще что-то...

Cпасибо за ответ.

Руками удалять страницы геморно их много...

BG
На сайте с 03.10.2010
Offline
195
#1

Ничего страшного, гугл последнее время индексирует даже закрытые в роботсе страницы, правда без контента, только заголовки.

У меня было все закрыто, тем не менее гугл все схавал. ЦМС Дле

---------- Добавлено 19.06.2013 в 18:54 ----------

В основной выдаче они не появляются.

-= Сайты на заказ | Правки, обновление, работы по DLE =- ( /ru/forum/791118 ) Telegram: @ruslansh ( tg://resolve?domain=ruslansh )
pan
На сайте с 24.10.2004
Offline
164
pan
#2
Мебельные фабрики Екатеринбурга (http://www.mebel66.ru/catalog/producers/) Дачный ГС жены (http://www.nafazendu.ru) Нет темы для бизнеса ? - да эта тема под ногами (http://www.uralstroyportal.ru/modules/forum/t1674.html)
A8
На сайте с 15.06.2013
Offline
21
#3

Спасибо, я мета-тегами также все сделал, как положено, но страницы, которые закрыты возвращают код ошибки 200 ОК, тоесть они доступны, я читал, что если даже закрыть их от индексации любыми методами хоть метатегами, хоть роботом, гугл может их не выбросить из поиска, так как они уже в ИНДЕКСЕ.

Поэтому хотелось бы как-то задать для этих страниц код ошибки 404 или 410 (для динамических страниц разумеется, не статика). А то можно так пол года ждать и не дождаться нужного результата.

---------- Добавлено 19.06.2013 в 23:19 ----------

BrightGuy:
Ничего страшного, гугл последнее время индексирует даже закрытые в роботсе страницы, правда без контента, только заголовки.

У меня было все закрыто, тем не менее гугл все схавал. ЦМС Дле

---------- Добавлено 19.06.2013 в 18:54 ----------

В основной выдаче они не появляются.

На самом деле - это страшно, так как очень плохо для СЕО - дубли не выпавшие из индекса...

Просьба помочь знающих...

дани мапов
На сайте с 06.09.2012
Offline
204
#4

Используйте на свой страх и риск. В engine.php можно перед строкой switch ( $do ) {


if (strpos($_SERVER['REQUEST_URI'] , '/page/') !== false or strpos($_SERVER['REQUEST_URI'] , '/tags/') !== false)
header('HTTP/1.1 404 Not Found');

Проверьте потом - отдается ли 404 для нужных страниц.

Написание и доработка скриптов (PHP, MySQL, JavaScript, jQuery) (/ru/forum/811046)
A8
На сайте с 15.06.2013
Offline
21
#5
дани мапов:
Используйте на свой страх и риск. В engine.php можно перед строкой switch ( $do ) {

if (strpos($_SERVER['REQUEST_URI'] , '/page/') !== false or strpos($_SERVER['REQUEST_URI'] , '/tags/') !== false)
header('HTTP/1.1 404 Not Found');


Проверьте потом - отдается ли 404 для нужных страниц.

Спасибо, отдается, буду ждать результата выкидывания дублей от Гугла ))

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий