Попробуйте использовать заголовок If-Modified-Since.
Проверять, как это работает, можно тут: http://seolab.ru/add/header.htm
Пока все время выдает 200, а не 304.
Еще обратите внимание, что в базе сайт с www, причем 63000 страниц.
Роботов типа WebAlta, MSN я бы пока закрыл. Заходов они не дадут, а трафик сожрут.
404 вроде выдает правильно. Только не видно сообщения об ошибке, но поисковикам это пофиг.
"Непотизм - раздача папами римскими ради укрепления своей власти доходных должностей, высших церковных званий или земель близким родственникам. Был широко распространен в XV — XVI веках. В более широком смысле (совр.) — кумовство.
Непотизм появился в Средние века, когда папы римские, заботясь о том, как бы укрепить свою власть, стали раздавать высшие церковные должности, в первую очередь кардинальские шапки, своим родственникам. Ими были сначала племянники, отсюда и название непотизм. Но потом, особенно в XV — XVI веках, ими были незаконнорожденные дети. Например, Александр VI сделал кардиналом своего сына Чезаре, а папа Павел III сделал кардиналами своих внуков.
Наивысшего размаха непотизм достиг в эпоху Возрождения, когда папы римские превратились в итальянских князей и стремились приобрести для своего многочисленного потомства княжества и герцогства. Появились целые «папские» династии, такие как семьи Орсини, Конти, делла Ровере, Медичи, Борджиа, Пикколомини, Савелли. Позднее появился термин «чёрная знать»: это потомки непотов, которые стали княжескими или герцогскими фамилиями, такие как Бонкомпаньи, Боргезе, Барберини, Памфили, Киджи, Одескальки, Людовизи, Альбани, Русполи, Руффо и многие другие.
Непотизм начинает изживать себя к XVIII веку, по распоряжению папы Иннокентия XII, в кардинальской коллегии мог быть только один непот."
:)
Источник - википедия.
Последние два Disallow лишние, т.к.
Disallow: /pages/
запрещает все, что внутри. И слеш я бы пока убрал,
Можете попробовать оставить так:
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages
Host: www.сайт.ru
И еще раз зайти в форму удаления раздела.
Максимум 2 недели займет.
А вообще, потом лучше перечислить только то, что вам не нужно, если в /pages/ есть еще и нужные страницы.
Сначала надо взглянуть на ваш robots.txt, показывайте.
Если письма сохранились, не поленитесь посмотреть полные служебные заголовки, как правило, там видно IP отправителя. Если уж и отправлять сигнал в Яндекс, то обязательно с полными заголовками.
<META NAME="robots" CONTENT="noindex">
это для чего? :)
Яндекс не принижает и за более нехорошие слова :).
Тут есть два пути: 1) делать чтобы работало с www, или 2) чтобы не работало (можно написать на странице с www "Долой префикс WWW, это атавизм" ;) ).
И каждый решает для себя сам, как поступать.
"Это очень весомый аргумент для выбора зеркала, но не единственный", как говорил ББ. И опыт это подтверждает.
С редиректом, конечно, побыстрее будет. Но я бы не применял его везде, где попало, т.к. в базе немало страниц, исправно и давно отдающих 301.
Нос вытащил - хвост увяз, тенденция, однако.
