А вы читали описание этой настройки?)
Прочитайте. Она лишь регулирует частоту запросов (то есть промежуток между запросами), а на количество проиндексированных страниц не повлияет.
С одной стороны это вроде бы правильно, но с другой например меня очень раздражают такие редиректы. Когда переходишь на страницу, а оказываешься на главной. Сразу же закрываю и смотрю в кеше.
Я бы 404 сделал бы и на ней ссылки поставил. Хотя тоже минусы есть.
Я точно не знаю, можно ли яваскриптами заголовки передать, сомневаюсь чё-то. Можно попробовать сделать ява-редирект на 404.shtml, но код установить вероятно не удастся. Это будет просто как редирект.
Думаю надо копать в сторону htaccess.
И конкурент прикинется рекламодателем.
Ну у гугля такая вот схема. Вообще задумка конечно правильная. Сайт с большим уровнем доверия не должен воровать контент. Однако в реале получается всё с точностью до наоборот...
У яндекса то да, чаще всего всё верно определяется. Хотя тоже есть глюки, но именно глюки - а не заведомо нерабочий принцип определения плагиата.
А кто сказал что гугль правильно определяет плагиат? Как раз он хуже всего это и определяет. Его логика:
if (PR(site1)>PR(site2)) {
site1=original;
site2=plagiat;
}
И пофигу когда был размещен текст... Яндекс гораздо лучше всё это определяет.
Вот-вот... Без ссылок не будет в поиске отображаться, а без отображения в поиске не будет ссылок. Логика просто лучше не придумаешь.
Во-первых, как вы определили что в основном индексе нет страниц? Вариант site:site.com/& бредовый и показывает лишь страницы, проиндексированные в последнее время. Хотя с помощью него можно что-то узнать, но 100% распознавания НЕТ! Если начнут щас орать что есть - пишите пруф линк со справки гугля или ещё откуда-то. Всякие бредо-блоги не в счёт.
Во-вторых, сопли это бред. Их отменили сто лет назад, другое дело что есть близкий к этому фильтр! Который и опускает страницы!
В-третьих, нужно долбить поддержку гугля пока они не пересмотрят сайт, потому что наглость с их стороны!!! И полная несправедливость! Я бы за такой фильтр вообще закрыл бы их нафиг, забанил и т.д.
Они фактически сами толкают на то чтобы люди покупали ссылки! Потому что получается замкнутый круг: раз сайт в результатах гугля не появляется - то естественные ссылки образовываться не будут! А если ссылок не будет - то в поиске появляться не будет! Бредовей просто нельзя придумать...
Посмотрите сколько заброшенных говно-народных сайтов в индексе, не обновляющихся с 2000 года. И подумайте.
Такое случается когда масштабно используются картинки, размещенные на стороннеем ресурсе. Либо когда на каждой странице есть внешние ссылки, которые одинаковые на множестве страниц. Ну и редирект, это понятное дело.
Вообще ошибка только одна: Разобратса. Конец тса и т.п. - инет жаргон.