RiveSolutions SEO Spider

burunduk,

1. именно пакет проксей подключить 20-100шт и работать сразу через все

- такой возможности нет, но мы думали о ней. В принципе, реализовать будет не сложно. Будет дополнением от блокировки.

2. да, нужно найти все страницы в которых есть заданный фрагмент кода

- нет такой возможности. Добавить - очень просто. Беру на заметку.

3. зачем платить за урезанный функционал?

- ну ведь сейчас бета-тест. Слушаем пожелания, делаем, получаем снова отзывы о проделанной работе.

4. значит спарсить большой сайт будет практически невозможно - тупо не хватит терпения дождаться

- надо для начала попробовать. Может Вы и правы. Однако сколько тестов не проводили, узким местом являлась скорость интернета, но не парсинг.

всё-таки это достаточно специализированный софт и не уверен что его будут запускать на слабой сети

burunduk, вот для этого мы и проводим тест. Чтобы реально понять, что делать в первую очередь? Вот Вы говорите про пакеты прокси серверов. Но возникает вопрос: а насколько часто Вы этим пользуетесь? Насколько часто Вы используете поиск по фрагментам данных на страницах?

Конкретно Вы, наверное частенько делаете это. А большинство людей? Вот это уже интересный вопрос.

а для простых задач вполне достаточно бесплатной Xenu

Не надо сравнивать с Xenu, она по сути ищет только битые ссылки.

Больше там нет ничего.

мета + коды ответов, всё остальное делает эксель

Но зачем это делать вручную, когда это можно автоматизировать?

Разве не в этом состоит вся суть таких программ?

В Хену паук не идет по редиректу.

Т.е. на странице А стоит редирект на Б. Хену отмечает только наличие редиректа с А, но не идет на Б.

Более поздние пауки обычно ходят.

---------- Добавлено 14.06.2018 в 18:00 ----------

Иногда бывают не тривиальные задачи, которые не делают парсеры. Тогда выгрузка в эксель- наше все :)

З.ы. на вскидку- найти ссылки на страницу(ы) с минимальной вложенностью.

Наш паук переходит по редиректу :)

---------- Добавлено 14.06.2018 в 16:04 ----------

SmileP, ну так и у нас есть выгрузка в excel, как всех данных, так и конкретных фильтров. Помимо этого, Xenu не создает карту сайта и не генерирует PDF отчет :)

И да, я знаю, что и это можно сделать вручную, так же как можно и обойти сайт вручную, но смысл ведь не в усложнении жизни? Ну нам так по-крайней мере кажется и мы будем придерживаться этого правила :)

Бывает нужно раз в месяц примерно.

Обычно делаю "дамп" сайта в текстовые файлы и поиск через notepad++ /командеры.

Там и регулярки есть)

Не думаю что это очень актуально для большинства сайтов. Там можно и ручками посмотреть (ибо малое количество страниц).