подскажите ip MicrosoftPrototypeCrawler - я б забанил
а вот от Ad Muncher лучше поставить защиту физическую - он баннеры вырезает ... зараза ...
а проверка есть простая - проверяет он ли робот robots.txt и следует ли правилам в оном прописанны
ошибка с кластерами может быть ?
о любви не надо говорить - ее надо заниматься ;-))
совет: воспрользуйтесь поиском по сайту "индексация динамических сайтов"
Анекдот: что нужно, что бы у блондинки загорелись глаза? посветить ей фонариком в ухо ...
а зачем нужен "дорвейтизатор", если уже есть оптимизатор?
(обсуждение вопросов с дорвеями это прямое нарушение правил участия в форуме?)
цензура не всегда помогает обществу, но есть мысль, что от оного и чуть-чуть пользы будет : меньше трафика, но более качественного ... думаю, что оное повышает требовательность к текстам сайта, хотя и хорошие сайты тоже могут проиграть (=потерять потенциального посетителя) ... и люди не видя смысла страницы (= качества результатов поиска) будут или разочаровываться яндексом или идти на вторые страницы т.е. чаще идти вглубь ... не известно полезно оное пользователю или нет ...
но это точно гонка за идеалом при забывании о реальности ...
у меня есть сервак, у которого cgi-bin стоит в disallow почти год - так яндекс знает одну страницу внутри cgi-bin ... благо находит ее по ссылке ...
личный опыт частенько не совпадает с "температурой по палате" ... очень многое зависит от бизнеса и сайта ...
Совет : пользуйтесь поискои по форуму - вопрос обсуждался во многих ракурсах
тема "подсветки" достаточно интересна ... только вот есть различия между тем что говорил Илья Сегалович и реальным сервисом подсветки ... сервис считает изменения в зависимости от конкретного запроса, а не по документу в целом! и в этом есть большая разница со словами Ильи ... но опять же нет достоверных данных о том, что подсветка с отловленным "Документ бы изменен" есть гарантия того, что реально при обновлении индекса документ будет новый в базе ...
