Ага! :) Samail добавил яндекс - наконец то его яндекс забанит! :)
На счет бана по исходящим - не реально. Вот опознование робото-каталогов и робото-статей - более реальная мысль.
У меня ни один каталог на моих сайтах не выпал и они вообще в топ 5 в ссылающихся на других, даже выше морд (кто то может сказать - занепоченых морд, но я не признаю непот автоматический, поэтому морды смотрю сам и делаю вывод что они без фильтров).
Все каталоги на моих сайтах самописные и собираются строго с модерацией (90% отклоняется заявок). Тематика соблюдается только на нескольких сайтах, на остальных каталоги всенаправленные, но тоже никаких проблемм с ними.
Сдается мне, что если так же работать с каталогом статей на своих сайтах - то они тоже будут нормально восприниматься роботами.
В ближайшие 3 недели как раз запускаю 3 портала в кольце и заодно хочу провести эксперимент: В движке есть каталог статей, будет модерироваться, и в основном, размещатьсястатьи на бесплатной основе только по теме.
Но вот до этого, я хочу каждый день вписывать туда по 4 уникальных статьи по теме, взятые из зарубежного нета (новые, не переведенные материалы), переводить их и публиковать. Посмотрю на реакцию ПС, а дальше они пойдут уже для размещения статей, присланных пользователями.
Я часто забегаю в ксап разные операции провести, подправить что то - тормоза не всегда, но они есть и фатальные. Иногда проскакивает на ура, но чаще просто висит и нельзя работать.
Обходится то можно но сильно замедляется процесс анализа. Если только по ночам на пакетную ставить.
Что то мне подсказывает, что яндекс реагирует на 304 только на запрос HEAD а на обычный GET нет. В принципе тогда его нельзя отучить, можно попробывать если у вас php страницы и вы в заголовках отдаете дату создания/модификации автоматом - поставить статичную, может тогда он подумает подумает да изменит скорость обхода таких страниц.
А я вот на днях на всех сайтах своих убил в роботе Yahoo слурпа - тоже грузил по полной своими заходами. Теперь смотрю логи - красота, IP роботов не выскакаивают из 50-и, а с yahoo каждый день зашкаливали за 900.
Нет, прерывать не вздумайте - это будет приравнено к 404. А как игнорирует? Снова заходит на эту страницу? А период захода не удлинился? Может он постепенно начнет снижать период захода, нужно просто попасти несколько страниц с отдачей 304, а остальные пока не трогать.
GoodWin - наоборот получилось - яша перед этим глюканул и выдача красиво поапалась как в добрые времена, а потом он вернул все в новое теперяшнее русло.
не слышал в нете такого. То что рама покупает Бегуна, это да, тут есть инфа давно, а вот про объединеине не встречал.
Нет, это были именно индивидуальные глюки и они исчзали через некоторое время, тут уже обсуждалось это.
Изменение именно в быстром приросте гугла и рамы а яша стоит на своем с легкими отладочными колебаниями и глюками.
Да, только 304 можно сказать пшел вон. Не известно, послушает паук или нет заголовок, по идее должен послушать. Только разобраться когда нужно отдавать 304 а когда уже пора бы и пустить попастись.
