Это от задачи зависит.
Как правило, я предпочитаю закрывать. Даже не из-за полумифической "нелюбви поисковиков к дублированному контенту". А для того, чтобы более приоритетные страницы быстрее индексировались.
К примеру. Для каталога товаров, в котором порядка 300 страниц товаров и 50 категорий, множественный фильтр (6-7 параметров по 4-20 значений в каждом) порождает под 100К уникальных для поисковика урлов. И нет никакой гарантии, что среди всего этого многообразия паук выберет не трешак, а именно нужные мне страницы в первую очередь. Оно надо, спрашивается? Не, если ссылки в сапе торговать, то таки да, а если товары продавать живым людям, то точно нафик :)
Хотя если ваша задача стоит в том, чтобы эти страницы оптимизировать под нужные ключевики, то почему бы и нет?
Сравните в Я.Вебмастере и аналогичной тулзе от Гугла с каких запросов к вам идут и как вас ранжируют по ним - все сразу прояснится. Да и о каких абсолютных величинах идет речь, тоже важно. Если это несколько тысяч в сутки - разница показательна. Если это отличие в пару десятков - ничего не значит...
ТС, чтобы кто-то мог помочь, нужно научиться хотя-бы вопросы формулировать так, чтобы понятно было. Имхо первый же ответ в теме и есть ответ на ваш вопрос. Ваши же предположения лишены каких-либо оснований.
В сторону SpiderMonkey не смотрели? Например: http://devzone.zend.com/article/4704
Ну так эта страница существует, почему же сервер должен показать что-то другое? :) Вы проверьте не страницу ошибки, а любую несуществующую страницу - если сервис покажет 404, то все в порядке. А саму страницу ошибки от ботов закройте в robots.txt.
Если хотите, для полного спокойствия добавьте в вашу страницу ошибки первой строкой
<?php header("HTTP/1.1 404 Not Found"); ?>
(только не забудьте сказать апачу, чтобы обрабатывал html как php)
Я использую Header Spy - он удобно в статусбар вешается. Есть еще LiveHttpHeader (если не соврал) - но вообще поиск по дополнениям рулит :)
Нечто вроде
RewriteEngine On
RewriteCond %{HTTP_HOST} ^www\.(.+)$ [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
Скажу сразу - проверить у себя поленился :) Но вроде оно
Если идет редирект на кастомную страницу ошибки, то последним всегда будет отдаваться 200. Это не баг, а фича, нет? :)
Вопрос в том, отдает ли сервер первым 404, а не 302 как ТС написал.
Я бы сначала проверил, что на самом деле отдает сервер. Причем не "глазами Гуглобота" (мало ли какие глюки могут быть в экспериментальной функциональности), а спец. сервисами или плагином Мозиллы (есть даже несколько).
Специально посмотрел у себя. При попытке постучать по несущестуующему адресу первым уходит заголовок 404, а потом при загрузке кастомной страницы ошибки куча заголовков 200 (или 304) - по количеству отдаваемых файлов...
А ссылочку дадите? Интересно было бы почитать...
А почему вы не считаете стоимость времени? 6 часов - это почти целый рабочий день. Почти целый рабочий день, потраченный на фигню. Это категорически дорого. Мне, например, дешевле нанять в штат девочку, которая только закончила провинциальный ВУЗ по редакторской специальности, и посадить ее копирайтить "от заката до рассвета". Но это если много писать нужно. Если нужны 20-30 статей раз в квартал, то прямая дорога на веблансер сотоварищи. Опять же дешевле получится если учесть стоимость времени.
