Время между запросами и так не маленькое.. так как один сайт сканируется сикунд 15.. но.. время между сайтами можно увеличить в настройках..смотрите...
to antono:
Прокси пока не планируются. Запросы не такие частые, даже если 100 сайтов.. видь например в яндекс это примерно 2 запроса в 10 сек. максимум...если увеличить еще.. то ожно сделать таймаут еще больше..
Я сканировал 25 сайтов в течении полтора месяца.. да и для тестов по 5 раз в сутки..и всё ок..
to _mihey:
LiveInternet парсится в режиме OnLine из CSV файлов, которые они экпортируют...база не используется
Толку от этого 0! Я сам пишу парсеры для сайтов.. и это - не спасет. Есть другие способы, которые могут СИЛЬНО усложнить жизнь парсерописателей, вплоть до того, что возможно скачать будет только по копи-паст, но не известно как отреагирует на такое поисковик))
alter table table_name drop id;
alter table table_name add ID int(11) NOT NULL auto_increment, add primary key(ID);
Как помню из своей практики, пересчитывает он это не с 0....
Один хороший человек подсказал хороший скриптик для этого:
$sql = "select id from table order by id asc";
$result = mysql_query($sql);
$i = 1;
while ($row = mysql_fetch_array($result)) {
mysql_query("update table set id='$i' where id='$row[id]'");
$i++;
}
mysql_query('ALTER TABLE table AUTO_INCREMENT=$i');
to traglod:
Время между запросами и так не маленькое.. так как один сайт сканируется сикунд 15.. но.. время между сайтами можно увеличить в настройках..смотрите...
to antono:
Прокси пока не планируются. Запросы не такие частые, даже если 100 сайтов.. видь например в яндекс это примерно 2 запроса в 10 сек. максимум...если увеличить еще.. то ожно сделать таймаут еще больше..
Я сканировал 25 сайтов в течении полтора месяца.. да и для тестов по 5 раз в сутки..и всё ок..
to _mihey:
LiveInternet парсится в режиме OnLine из CSV файлов, которые они экпортируют...база не используется
to kxk:
Yandex XML для чего?
Хотелось бы и мне протестить
Смотрите соседнюю тему.
Если чисто снимать, то наверно сбербанк... у них больше всего банкоматов...
Мало это в наше время то...
Пишите, сделаем=)
Надо смотреть в конкретном случае за что именно может зацепиться парсер... и строить данные элементы динамически=))
Нет. Не так. Разобрался сам:
RewriteRule ^([0-9]+)/([A-Za-z0-9-]*)/?+$ illnlist.php?a=view&bukva=$1&name=$2 [L]
Толку от этого 0! Я сам пишу парсеры для сайтов.. и это - не спасет. Есть другие способы, которые могут СИЛЬНО усложнить жизнь парсерописателей, вплоть до того, что возможно скачать будет только по копи-паст, но не известно как отреагирует на такое поисковик))
Правильно помните, начинается с 1, если спец. условий не задавать, а 0 резервное значение.
Если у поля id не было инкримента или ключевых значений, то способ СКОРПИОНа должен сработать.
А никто не говорил, что его там небыло.. он наверняка там был..
Советчики... :(
alter table table_name drop id;
alter table table_name add ID int(11) NOT NULL auto_increment, add primary key(ID);
Как помню из своей практики, пересчитывает он это не с 0....
Один хороший человек подсказал хороший скриптик для этого: