Page Weight. Программа для настройки перелинковки сайта . Часть 2

Темку я нашёл, если что, 2-х годичной давности((

Solomono уже давно сканит, сперва обновления были раз в неск месяцев, сейчас почаще. Их интересуют исходящие ссылки на странице, а вас внутренние. Могли бы с ними скооперивоваться для юзания общей базы данных.

Понятно не просто. Полно сайтов с кривой вёрсткой, потребуются большие ёмкости памяти и пулы IP адресов, чтобы не банили за нагрузку. Но это всё решаемо.

Вот и решаем по-тихоньку.

А вот это уже коммерческая тайна. Скоро будет бесплатный тест для всех покупателей версии Lite. Приходите, сами все увидите.

exp131, если вы не поняли (а судя по всему не поняли), то пофиг, начем написано. Скрипты, си, да хоть ассемблер. При кривой архитектуре ляжет все.

Я понял. Я об архитектуре и говорю. Почему вы уверены что она у нас кривая?

А почему я уверен, что она у вас кривая?

Хотя лан, даже интересно. Если я пущу в тыщу пото... тьфу, разом тыщу сайтов по страниц гденить сотнику кило, что будет?

Тыщу по 100к да к тому же параллельно это вариант идеальный. Но для того и пускаем в тест чтобы понять куда идти дальше.

Для чего идеальный?

Для реальных условий. Это как сферический конь в вакууме. В нашей программе не будет таких единовременных нагрузок, и уж точно не в тестовой версии.

еще раз, прога сколько страниц реально может спарсить? если в учет берем что на сайте больше 25К страниц....

Короче сделайте уже, утомили :)