to traglod:
Время между запросами и так не маленькое.. так как один сайт сканируется сикунд 15.. но.. время между сайтами можно увеличить в настройках..смотрите...
to antono:
Прокси пока не планируются. Запросы не такие частые, даже если 100 сайтов.. видь например в яндекс это примерно 2 запроса в 10 сек. максимум...если увеличить еще.. то ожно сделать таймаут еще больше..
Я сканировал 25 сайтов в течении полтора месяца.. да и для тестов по 5 раз в сутки..и всё ок..
to _mihey:
LiveInternet парсится в режиме OnLine из CSV файлов, которые они экпортируют...база не используется
to kxk:
Yandex XML для чего?
Смотрите соседнюю тему.
Если чисто снимать, то наверно сбербанк... у них больше всего банкоматов...
Мало это в наше время то...
Пишите, сделаем=)
Надо смотреть в конкретном случае за что именно может зацепиться парсер... и строить данные элементы динамически=))
Нет. Не так. Разобрался сам:
RewriteRule ^([0-9]+)/([A-Za-z0-9-]*)/?+$ illnlist.php?a=view&bukva=$1&name=$2 [L]
Толку от этого 0! Я сам пишу парсеры для сайтов.. и это - не спасет. Есть другие способы, которые могут СИЛЬНО усложнить жизнь парсерописателей, вплоть до того, что возможно скачать будет только по копи-паст, но не известно как отреагирует на такое поисковик))
А никто не говорил, что его там небыло.. он наверняка там был..
Как помню из своей практики, пересчитывает он это не с 0....
Один хороший человек подсказал хороший скриптик для этого:
$sql = "select id from table order by id asc"; $result = mysql_query($sql); $i = 1; while ($row = mysql_fetch_array($result)) { mysql_query("update table set id='$i' where id='$row[id]'"); $i++; } mysql_query('ALTER TABLE table AUTO_INCREMENT=$i');
