ну по массивам все распихать было бы достаточно
где-то на php.net проскакивал подобный class, но я его найти немогу.
и еще в каждом разделе TOP100 есть ссылка "статистика раздела" :)
http://top100.rambler.ru/top100/Automotive/stats.shtml.ru
попробуй какой-нибудь блог-движек, например wordpress (http://wordpress.org/)
у меня знакомый месяцев 5 ждал, все попытки на запрос использовал.
потом, после 3-го письма в суппорт, ему прислали пин на емайл, при этом письмо было на английском языке и в письме они извинялись, что пишут не на русском и про то, что они не могут отслеживать отправленные письма.
http://www.google.com/apis/
про "быстрого" знаю, но после его работы пишется кол-во часов, а тут "позавчера" :)
все, вопрос снят, отсортировал выдачу "по дате", таких много... одно подозрительно, у всех форумы и новости, а у меня морда...
хоть секцию, хоть раздел, но моя мысль была про стандарты - стандартные директивы поддерживаются всеми правильными ботами
robots.txt вообще-то пишется по общесетевым стандартам, а не "под яндекс" или "под гугл"
не внушает мне доверИе контора, которая опаздывает с открытием дней на 10 🙄
ну как же.... а ссылочку лишний раз на себя любимого засветить? 😆