Необязательно они. Это могут быть конкуренты,проверяющие все ли честно у вашего сайта, покупатели ссылок, проверяющие сможет ли увидеть яндекс купленные ссылки. Вобщем, много кому может понадобится посмотреть сайт "сквозь розовые очки".
А для определения ботов, имхо, лучше пользоватся серверной статистикой. Я например использую awstats.
Знаю много таких людей, которые любят проверить, как выглядит их (или не их) сайт "глазами" Яндекса(Google и тд.) :)
Можно поставить Мозилла,с дополнением user_agent_swither(вроде так называется), в который можно впихнуть все эти user_agent. Точность показаний, соответственно, изменяется в худшую сторону.
P.S.
Я просто подумал,что Вы, возможно анализируете еще и по обращениям к файлу robots.txt (это четко отражают серверные логи, не знаю, возможно ли получить доступ к ним из пхп).
Скажите,а как по строке
Ничего получилась cms. Может получится неплохая альтернатива нюкам в плане безопасности.Мне лично понравилось.
Хотелось бы видеть каталог ссылок :) и рсс агрегатор для новостей.
Выложил четыре сайта в нет в одно и тоже время (-/+ 2 дня).
Ситуевина следующая
1 сайт - 28,07 - нет в поиске до сих пор
2 сайт - 29,07 - появился примерно через 1,5 недели
3 сайт - 29,07 - появился примерно через 1,5 недели
4 сайт - 30,07 - появился примерно через 4 недели + взяли в ЯК
Подозреваю связь между скоростью добавления в индекс и днем недели (30 было воскр.) а также степенью опьянения оптимизатора.
Вроде как есть у Яндекса такой бот,который понимает скрипты.
Хитробот называется.
какой то затяжной ап.Скоро наверно апы будут по несколько дней.Один сплошной ап короче будет
Что-то непонятно, ап все идет?
Еще кстати наблюдал обратную ситуацию.Например,есть 1000 беков,и они потихоньку тают и тают,хотя работа по сайту ведется.На фильтры вроде непохоже.Никто не сталкивался?
