Про индексацию страниц с 404 в http-заголовке

Kastorskiy, действия вашего сотрудника приведут к увеличению низкочастоного трафа, а потом, если тема конкурентная и на вас кто-нибудь стукнет - к бану, поскольку за подсовывание индексатору страниц поиска по сайту Яндекс уже не раз банил. Так что просто объясните ему, что набирая траф такими методами он рискует потом на 1-3 месяца не получать его с Яндекса вообще.

P.S. Только сейчас понял что эта тема в разделе гугля :).

А можно расшифвровать термин "низкочастотоный трафик"?

Вот кстати, как раз в яндексе сайт и не проиндексирован. Не знаю причину, может, как раз по этому. Подал заявку на индексацию, жду несколько дней, пока робот не приходил.

А как гугль на это реагирует?

в лучшем случае ждите supplemental, в худшем, к чему я больше склоняюсь - бан!

проверил, оказывается, уже дождались

З.Ы. Есть большой соблазн дать ссылочку на парочку страниц сайта, чтоб перейти к более конкретному обсуждению, только, если я не ошибаюсь, правилами форума это запрещено? Или есть какой-то выход?

сейчас проверил одни свой подобный сайт, те страницы, которые статичны - присутствуют в индексе, всё ОК, те которые автоматом генерировались все в supplemental, причём даже по уникальным фразам их найти нельзя, хотя в кэше они есть

Робот яндекса так и не заявлялся. Бан?

Kastorskiy, а причём тут Яндекс? Вроде раздел про Гугль. А бан в одном поисковике на бан в другом не влияет :)

Что касается первой темы топика, то здравое зерно в рассуждениях вашего сотрудника есть: если script.php генерит очень много 404-х страниц, то его могут выкинуть из индекса. Гугль просто загоняет весь скрипт в supplemental. К слову, такое поведение может случится как с дерикторией, так и со всем сайтом: если бот пошёл по неправильному пути, то до посинения он по нему идти не будет - рано или поздно будет принято решение неправильный путь сбросить. Однако, Гугль бот хитрый и сбрасывает в supplemental он не только 404-е страницы, но и просто одинаковые страницы. Так что продолжение темы, т.е. подсовывание неинформативных страниц Гуглю - явная ошибка.

Итого, если у вас есть большая БД товаров и произошла инвентаризация, т.е. большая часть товаров исчезла, то правильное решение страницы с товарами не удалять, а просто блокировать кнопку покупки товара. Особенно если в дальнейшем товар снова может появится. Выдавать для удалённых товаров 404 или же шаблонную страницу - неверное решение. Большое количество таких страниц может повлечь за собой сброс в supplemental всего пути. А для скрипта началом пути скорее всего будет сам скрипт.

NB: выше по тексту осталось не определённым понятие "много". Возможно, оно зависит от PR нормальных страниц. Т.е. в одной ситуации и 50 малоинформативных страниц будет много, а в другой и 500 нет.

Ну, я не мог поместить тему сразу и в Гугль, и и в Яндекс. Гугль интересует больше, т.к. основной сайт на английском языке. Но и яндекс тоже интересует, т.к. есть зеркало сайта на русском языке.

Ну так, имхо, вывод в том, что просто не нужно генерить много 404-х страниц, а не выдавать для реальных 404-х страниц код 200, пытаясь подделаться под существующую страницу. Так?

Т.е. опять же, имхо, вывод, что выдавать код 200 в данном случае - это не спасение, нужно устранять саму причину попадания на 404. Так?

С этим полностью согласен. Кстати, вы угадали, в данном случае речь идёт именно об интернет-магазине.

Да.

Устранение битых ссылок - это само собой разумеющееся. Я же больше намекаю на то, что искуственно увеличивать количество страниц, отдающих 404-й код тоже не надо.

Как и не надо увеличивать кол-во _одинаковых страниц_, отдающих код 200.

Какой же получается вывод?