На чем писать паука?

а днс 8.8.8.8 тоже кого-то игнорит?

Сейчас пока остановился на 350 потоках и TIMEOUT=CONNECTTIMEOUT=15

Вроде это близко к оптимальному отношению производительности к общему размеру скачанных данных (если что не докачалось - мне не так критично пока, в будущем посмотрим).

Сколько отваливается - не следил. Ошибки не проверял.

Проверил несколько разных входных параметров и вот остановился на том, где больше данных собралось при меньшем числе доменов, отдавших "пустоту" (там и ошибки, наверное, и неделегированные домены и т.д.).

На 500 потоках побыстрее, но данных меньше получаем. На 1000 потоках - сильно меньше данных. На 3000 потоках уже почти в 20 раз меньше данных.

А что там с параметрами апача типа ThreadsPerChild/ThreadStackSize и др для мультикурла? Я не силен в этом, но почему-то иногда скрипты отваливаются (если параллельно еще запускать кое-что), иногда - нет.

P.S.: пару лет назад прописывал 8.8.8.8/8.8.4.4, а сейчас в настройках их нету. Попробую с ними.