Раз в три секунды вроде бы можно запросы слать. Не чаще. Вот и считайте: за 2 часа = 60 * 60 * 2 = 7200 / 3 = 2400 запросов.
Чорт! Надо освоить метод. ☝ А в Гугле такая фишка прокатывает?
Вообще-то ТОП-100. Просто наверно вытащило 30 сайтов.
Мониторинг конкурентов в программе TopSite.
TopSite. Бесплатно. (15 дней)
И очень глючную...
У автора постоянно нет времени для её доработки. Уже год как висит бета-версия:
То есть навсегда.
Качаем тут
Да. И особенно на мобильных браузерах будут проблемы.
Аналогично.
А что вам мешает не редиректить файл robots.txt?
Лучша прога - у меня в подписи. Не сочтите за рекламу :p
