Если парсить в 1н поток - вебархив ничего не имеет против (к примеру сайт на 3000 страниц восстанавливается без проблем). Если же важна скорость - то можно использовать многопоточность с прокси.
Работает быстрей (тестировалось на 50 потоках), имеет возможность замены блоков (как простых html так и с помощью регулярок), ну и стоимость (к тому же оплата снимается только в день когда программа используется).
p.s. К тому же программа имеет поддержку и развивается, чего насколько мне известно уже давно нет у r-tools
Сервисы хороши для небольшого количества проверяемых ссылок, но для проверки больших обьемов, мне кажется, лучше все же работать на многопоточной версии с сохранением отчета.
Но, как говорится, каждому свое.
Как и говорилось ранее, на актуальность не расчитывалось, просто поделился тем, что когда-то мне пригодилось.
Дописал софтинку:
- теперь в начале отчета добавляется "шапка" с подписью каждого столбца.
- была добавлена проверка запрета индексации в robots.txt, проверил на 100+ примерах, ошибок не заметил. Кто заметит ошибку - скидывайте мне в личку урл, внесу изменения.
Обновление авторегера ЖЖ (04.11):
1. Указание тегов при регистрации
2. Добавлена возможность френдинга своих сеток
3. Возможность загрузки аккаунтов их списка регера (разбор строки в нужный формат)
4. Увеличено размер поля для ввода маски сообщения
5. Добавлен разбор вариаций в полях "О себе", "Разное"
+ другие мелкие изменения.
Программа как обычно на сервере.
wm.exchanger.ru состоит из частных заявок на обмен, в связи с этим не всегда бывают "самые вкусные" цены по всем напрвлениям.
К примеру WMR->WMU почти всегда заниженый курс по сравнению с остальными обменниками. Но WMZ->WMR еще нигде не видел курса лучше.
1. Насколько помню, то ограничение в заголовке до 100 символов. В теле сообщения - до 25к (не уверен, не нашел точной информации).
2. Эта функция только была добавлена в обновления. Доступна в полной версии (как и пинг блогов).
Только что на сервере было выложено обновление из списка выше.
Да, в программу вводится производный список аккаунтов вида логин;пароль
Уже готовы новые алгоритмы, которые будут добавлены в следующем апдейте:
- настройка таймаута между отправкой постов (опция);
- отправка пинг-запроса для поисковых сетей при регистрации или постинге (опция);
- при пакетном постинге добавлена возможность перелинковки статей автоматически (опция);
- ряд мелких, но значительных фиксов программы.
На все вопросы отвечу в ЛС. Так же продолжаю принимать Ваши предложения по модернизации программы.
Отпишите мне в icq, если я правильно понимаю, то такое уже реализовано.
