игруха то прикольная тока оч быстро думать надо ибо пока напишешь - уже поздно
либо под рукой держать список всех городов.
Тормоз, где взять такой ? :)
Kost, хм. щас проверил мануал http://help.yandex.ru/webmaster/?id=996567#996572
да, если надо просто всю папку закрыть, то звездочка не обязательна, но для себя, для наглядности лучше использовать.
прокси к чекеру приделайте - будет вам скорость
все 30к урлов надо каждый день чекать? все за раз надо проверить?
если нет, то и проблем то особых нет - пишется простой чекер, который со случайной задержкой проверяет урлы в течении N дней.
ну если гуглить не получается, то за программирование браться рано еще, имхо
кстати, инглиш тож надо бы подучить - без него никак
"таких должно быть около 600"
вы за один запуск скрипта хотите сграбить 600 страниц? конечно скрипт "повесится"
Делайте частями запросы, по 2-3 урла за раз, а в конце чекера добавьте код типа
$time_sec=1000;
echo '<script language="JavaScript" type="text/javascript">setTimeout(function() {document.location="'.$_SERVER['PHP_SELF'].'"}, '.$time_sec.');</script>';}
этот яваскрипт запустит ваш чекер заново через одну секунду ( $time_sec=1000; ) после грабинга очередной партии урлов
ну иль если можете, то сделайте задание для крона - будет запускать скрипт по расписанию
Disallow: /папка*
а еще сеПарсер скоро будет давать данные о рекламных объявлениях сайтов в гугле и яндексе - можно будет узнать кто как и где рекламируется
ну и еще кой чего полезного будет
orients.ru, а можете подробнее рассказать? что за анализ конкурентов вы делаете?
может чего на сеПарсере реализую
я не особый знаток, но предположу, что фразы
"по цене 12 у.е./1000 знаков"
"Конечно, итоговые статьи не столь приятны для чтения"
не очень хорошо сочетаются.
видел предложения и дешевле и более читабельнее
