Раз в три секунды вроде бы можно запросы слать. Не чаще. Вот и считайте: за 2 часа = 60 * 60 * 2 = 7200 / 3 = 2400 запросов.
Чорт! Надо освоить метод. ☝ А в Гугле такая фишка прокатывает?
Вообще-то ТОП-100. Просто наверно вытащило 30 сайтов.
Мониторинг конкурентов в программе TopSite.
TopSite. Бесплатно. (15 дней)
И очень глючную...
У автора постоянно нет времени для её доработки. Уже год как висит бета-версия:
То есть навсегда.
Качаем тут
Да. И особенно на мобильных браузерах будут проблемы.
Аналогично.
А что вам мешает не редиректить файл robots.txt?
Лучша прога - у меня в подписи. Не сочтите за рекламу :p
Раз в три секунды вроде бы можно запросы слать. Не чаще. Вот и считайте: за 2 часа = 60 * 60 * 2 = 7200 / 3 = 2400 запросов.
Вброшу: http://seoson.ru/51-pustyishka.html
Чорт! Надо освоить метод. ☝ А в Гугле такая фишка прокатывает?
Спасибо! Все норм, кроме ограниченности ТОП 30 и нет возможности вносить стоп-площадки.
Но для моих целей можно использовать.
Вообще-то ТОП-100. Просто наверно вытащило 30 сайтов.
Мониторинг конкурентов в программе TopSite.
TopSite. Бесплатно. (15 дней)
нашел хорошую бесплатную, называется site auditor
И очень глючную...
У автора постоянно нет времени для её доработки. Уже год как висит бета-версия:
То есть навсегда.
Качаем тут
Нужно на русские буковки накладывать функцию urlencode, или что там у Вас.
С индексацией проблем не будет, но в некоторых браузерах не откроется. <IE 9, если не ошибаюсь.
Да. И особенно на мобильных браузерах будут проблемы.
Я всегда делал так, в файле .htaccess:
<FilesMatch "robots.txt$">
RewriteEngine off
</FilesMatch>
Аналогично.
А что вам мешает не редиректить файл robots.txt?
Лучша прога - у меня в подписи. Не сочтите за рекламу :p