клеит схожие страницы, сервер глючит, выкидывает неуникальный контент, накладывает санкции, да много чего может быть - без примера сайта точнее никто не скажет.
видимо не совсем корректно сформулировал,
важно не наличие размера, а соответствие размера предаваемого (в случае когда отдается) с фактическим, об этом яндекс писал, что их несоответствие может быть причиной неиндексации.
мозговой штурм тоже неплохо, среди этих слов зачастую и бывают ответы на вопросы - главное разглядеть :)
ну лично я бы убрал
вместо этого прописал бы
header("Cache-Control: no-store, no-cache, must-revalidate"); header("Cache-Control: post-check=0, pre-check=0", false); // HTTP/1.0 header("Pragma: no-cache"); header('Last-Modified: '.gmdate('D, d M Y H:i:s \G\M\T', time()-24*10000)); header('Content-Type: text/html; charset=windows-1251');
и внимательно просмотреть размер документа выдаваемый заголовком и фактический - это для яндекса критично.
To XTR:
Свой эксперимент сбросил в личку.
P.S. имхо - нас спасет только коллективный разум.
К сожалению по одному из проектов 100%белых-100%уникальных-100%СДЛ я этот ответ получил в августе, сентябре, начале октября - а сайт и поныне в "нигде".
Так что этот ответ не повод для расслабления и оптимизма.
301 Редирект - PHP
<?php
header("HTTP/1.1 301 Moved Permanently");
header("Location: http://www.твой_сайт.com/");
?>
301 Редирект - .htaccess
Redirect 301 / http://www.твой_сайт.com/new.htm
Редирект старого домена на новый - .htaccess:
Options +FollowSymLinks
RewriteEngine on
RewriteRule (.*) http://www.newdomain.com/$1 [R=301,L]
Редирект HTML
<meta http-equiv='refresh' content='0; url=http://newdomain.com'>
----
404 - .htaccess
ErrorDocument 404 /404.php
Содержимое 404.php
header("HTTP/1.0 404 Not Found");
header("Status: 404 Not Found");
А вообще поиск пользовать не пробовали?
по 404 по 301
Посоветовать могу только одно - внимательно читать форум и юзать поиск, процедуры решения таких проблем уже описывались не однократно, а посты ленивых пользователей я чувствую скоро просто игнорировать будут.
А решение проблемы читаем тут
как решить уже писали читать здесь
Определи для себя что у тебя главный, а что зеркало и действуй соответственно, иначе яндекс сам определит, склеит, потом месяца три расклейки ждать будешь.
По одному из проектов (сайт белее некуда - дизайн 100% уникальный заказывался специально, контент уникальный - сам писал, более 250 страниц по 1500-2500 символов на каждой, ежедневно добавляется 2-3 страницы с уникальными текстами) переписка с платоном длится уже с мая этого года, в теме письма ставлю RE:тикет от первого ответа, пишу 1 раз в неделю, последних ответов 10 писал человек, когда с юмором, порой с недовольством, а вот результаты нулевые - пишу из принципа добиться результата, так как неоднократно отвечали, что нарушений нет, причем по одному из ответов ясно, что сайт просматривали ручками (указали страницу где под IE часть меню ушла за область экрана, и даже указали тег какой слетел :) ).
А индексатор появляется на сайте раз в неделю, загоняется он только свежими внешками, с адурлки приходит только "дятел" и все, остальные проекты на этом серваке прекрасно индексируются, сейчас грешу на IP как-то подозрительно, что сайты с одним IP имееют одинаковые проблемы с индексацией (на одном IP висит 5 сайтов разных тематик на разных людей) и таких IP насчитал уже 7 штук. Сижу, пытаюсь разобраться в чем дело, так как бан IP малореален.