На штрафы-то, конечно, оптимизаторам в этом случае полезно будет посмотреть, но ведь идеи отбраковать и без этого легко - достаточно посмотреть на выдачу. Её-то не закроешь. :) А вот тем, кто ни сном, ни духом, а штраф схлопотал из-за свой криворукости или ошибки вашего индексатора - такой сервис намного полезней будет. Ну, да дело ваше...
Дык уже перестали. Это так, лирическое отступление было.
Дык мы ж не можем определить, наложен на конкретный проект штраф или нет. А если по каждому поводу падения в результатах поиска вам письма писать, то вы скоро сами волком завоете. :) А не сделать ли вам сервис такой - вводишь адрес сайта, а он в ответ - нарушаете, у вас столько-то штрафных баллов. Нарушители-то и призадумаются.
Постойте, а интернет-магазины, случаем, у вашего индексатора в штрафники не попадут? Там же бывает куча автоматически сгенерированных страниц, похожих друг на друга как две капли воды:
"товар - такой-то, цена - такая-то, положить в корзину"
А если нету такового потока? Есть масса сайтов с поисковым траффиком примерно равным нулю.
А зачем роботу favicon.ico дёргать?
Интересно, что за программа? Частоту ключевых слов, что ль, считает и за перебор наказывает? Дык умные люди страницу не под один запрос затачивают, а сразу под несколько.
Всяк кулик своё болото хвалит. У контекста тоже свои минусы есть: денюжки кончились - посетитель тоже кончился. А грамотно прооптимизированный сайт может до-олго качественного посетителя приводить.
Так от 31 декабря - это страницы с самого Рамблера и других "жирных" ресурсов. А у простых смертных в подавляющем большинстве своём именно - начало декабря. Ко мне на один сайт ваш бот уже в январе три (!) раза приходил. И где оно? Впустую, что ль, ходит?
Ну и? Самые свежие там - от 31 декабря.
Ну, значит, не повезло...