Дорвейный марафон Financia

wget -i links.txt

Тады срузу уж доры удалять с хоста)) Так как создаться странички не смогут из за бана АЙПИ в ПС где парсятся сниппеты))

Да, двоякая, так сказать, ситуация)

С одной стороны индекснуть не может, с другой - бан айпи при ускоренном парсинге.

В автодоре отсутствует возможность парсинга с левых ипов.

dr_Min, ну --wait=10 или --random-wait добавить не проблема.

При большом числе доров по-моему не актуально.

в моём варианте всё предусмотрено

Поясни, а то мы с летучей мышью не разбираемся в кодах.

sleep(mt_rand(3,5)) это задержка от 3 до 5 секунд между запросами, что wget тоже умеет. Да или просто в консоли сервера for i in $(cat links.txt); do curl -s $i >> /dev/null ; sleep 3; done

Итог 23.08.15

Отчета не будет сегодня, покупал еще места для новых доров т.к. на старом VDS уже кончается. Соот-но доров сегодня не делал.

На сколько я знаю, в автодоре нет возможности выгрузить карту дора, ее попросту нет)) А значит, нужно парсить урлы с дора, что равно сильно запуску твоего скрипта.

А если запускать бота на главную дора, чтобы он сам парсил и ходил по урлам, то собьется очередь=бан айпи.

Ему поможет бот которому загрузил список доров, и бот соблюдал очередь рандомно заходя на внутряки дора, тем самым запускал генерацию страничек.

А вообще, я ТСу дорген скинул, пусть им генерит статику ;)