А если серьезно, то 10 дней назад проводил добавление тестовое. Добавил 10 поддоменов номерных 11.domain.ru, 12.domain.ru и т. д. При чем 14 и 18 добавил корень, а остальные конкретныую страницу второго уровня от главной. На сегодня результат таков: на корневые 14 и 18 яша пришел через день - остальные пока не заходил. Вывод - теперь принимаются только корни в аддурлку, остальные игнорятся, но пишет что все ок, типа добавлен и будет обойден.
Ага! :) Samail добавил яндекс - наконец то его яндекс забанит! :)
На счет бана по исходящим - не реально. Вот опознование робото-каталогов и робото-статей - более реальная мысль.
У меня ни один каталог на моих сайтах не выпал и они вообще в топ 5 в ссылающихся на других, даже выше морд (кто то может сказать - занепоченых морд, но я не признаю непот автоматический, поэтому морды смотрю сам и делаю вывод что они без фильтров).
Все каталоги на моих сайтах самописные и собираются строго с модерацией (90% отклоняется заявок). Тематика соблюдается только на нескольких сайтах, на остальных каталоги всенаправленные, но тоже никаких проблемм с ними.
Сдается мне, что если так же работать с каталогом статей на своих сайтах - то они тоже будут нормально восприниматься роботами.
В ближайшие 3 недели как раз запускаю 3 портала в кольце и заодно хочу провести эксперимент: В движке есть каталог статей, будет модерироваться, и в основном, размещатьсястатьи на бесплатной основе только по теме.
Но вот до этого, я хочу каждый день вписывать туда по 4 уникальных статьи по теме, взятые из зарубежного нета (новые, не переведенные материалы), переводить их и публиковать. Посмотрю на реакцию ПС, а дальше они пойдут уже для размещения статей, присланных пользователями.
Я часто забегаю в ксап разные операции провести, подправить что то - тормоза не всегда, но они есть и фатальные. Иногда проскакивает на ура, но чаще просто висит и нельзя работать.
Обходится то можно но сильно замедляется процесс анализа. Если только по ночам на пакетную ставить.
Что то мне подсказывает, что яндекс реагирует на 304 только на запрос HEAD а на обычный GET нет. В принципе тогда его нельзя отучить, можно попробывать если у вас php страницы и вы в заголовках отдаете дату создания/модификации автоматом - поставить статичную, может тогда он подумает подумает да изменит скорость обхода таких страниц.
А я вот на днях на всех сайтах своих убил в роботе Yahoo слурпа - тоже грузил по полной своими заходами. Теперь смотрю логи - красота, IP роботов не выскакаивают из 50-и, а с yahoo каждый день зашкаливали за 900.
Нет, прерывать не вздумайте - это будет приравнено к 404. А как игнорирует? Снова заходит на эту страницу? А период захода не удлинился? Может он постепенно начнет снижать период захода, нужно просто попасти несколько страниц с отдачей 304, а остальные пока не трогать.
GoodWin - наоборот получилось - яша перед этим глюканул и выдача красиво поапалась как в добрые времена, а потом он вернул все в новое теперяшнее русло.
не слышал в нете такого. То что рама покупает Бегуна, это да, тут есть инфа давно, а вот про объединеине не встречал.
Нет, это были именно индивидуальные глюки и они исчзали через некоторое время, тут уже обсуждалось это.
Изменение именно в быстром приросте гугла и рамы а яша стоит на своем с легкими отладочными колебаниями и глюками.
