Как поубирать кучу страниц из Yandex

2

dsh

8 сентября 2004, 13:31

631

В Yandex болтается куча страниц, которые индексировать не нужно. Хотелось бы их поудалять из его базы. Но на сервере они есть, 404 отдать, соотвтетсвенно не могу.

Через robots.txt я могу запретить индексацию страниц включающих в адресе, скажем, последовательность символов "_print"? Это не каталог, это часть названия соответсвующих .htm файлов. Я так понял, что нет... Или могу

Ну допустим новые ненеужные я буду запихивать в соотв фолдер и запрещать через robots.txt. Но как быть с несколькими тысячами уже проиндексированного старья?

@

134

@uthor

8 сентября 2004, 14:09

#1

Отдавайте 404 Not Found. В чем проблема то?

Например так:

if (eregi("Yandex", $HTTP_USER_AGENT)) {

header("HTTP/1.1 404 Not Found");

exit();

}

Написал на вскидку. В идеале наверно можно похитрее придумать.

C

120

Cherny

8 сентября 2004, 18:26

#2

На фоне кучи топиков с темами "Яндекс не индексирует сайт!" и т.д. тема заслуживает внимания. :)

dsh, для этого есть специальный мета-тег:

С уважением, Владимир Чернышов. (не)?путевые заметки (http://chernyshov.kiev.ua/)

D

2

dsh

9 сентября 2004, 09:05

#3

Нет, всем спасибо - это все понятно... В смысле как запретить дальнейшую индексацию...

Вопрос в том как автоматом поремувить из базы уже имеющиеся страницы. Они в тех же разделах, что и нужные документы.

У меня страннная ситуация - в базе Yandex находится 47800 документов. Максимум. Четко. Круглое число. Иногда 47988, скажем. :) Но всегда, на протяжении долгого времени, в этих пределах. Приходит робот, кушает по 1-2K документов. Ничего не меняется. Самое главное, что валяются старые документы сплошняком, новые не попадают в базу. Хотя робот глотает все. Ну If-Last-Modified я не обрабатываю, ну это понятно как ставить. Но сначала хотелось бы вычистить всякую дрянь, а руками я умру это делать...

eTarget 2011:Панельная дискуссия «Стратегия eTarget 2011: Круглый стол Могут ли «плохие» входящие

298

Григорий Селезнев

9 сентября 2004, 19:09

#4

Сначала Disallow: /

а потом noindex в мета

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Зачем быть уникальным в мире, где все можно скопировать