Тематика/функционал может зависит от разработчика? Один делает по авто тематике, другой по печати..
Я могу на ваших сайтах разместить свой баннер на безвозмездной основе? Впрочем и ссылки с аннотацией хватит.
Не пора продавать за рубли?)
При наличии права требования взыскание возможно...
Пример именно парсера на несколько тысяч сайтов?
Вопрос не в парсинге одного сайта. Это не сложно. Несколько другое дело масштабировать это.
Вы указывали пример с агрегатором, в который данные вносятся на несколько сотен сайтов. Это не парсер.
В теории можно жить и работать, не выходя из жилья.. Но зачем..
12,5 лет по вашим данным. Но срок будет больше. Ибо налоги, простои, ремонт.
Бывает нужно раз в месяц примерно.
Обычно делаю "дамп" сайта в текстовые файлы и поиск через notepad++ /командеры.
Там и регулярки есть)
Не думаю что это очень актуально для большинства сайтов. Там можно и ручками посмотреть (ибо малое количество страниц).
В Хену паук не идет по редиректу.
Т.е. на странице А стоит редирект на Б. Хену отмечает только наличие редиректа с А, но не идет на Б.
Более поздние пауки обычно ходят.---------- Добавлено 14.06.2018 в 18:00 ----------
Иногда бывают не тривиальные задачи, которые не делают парсеры. Тогда выгрузка в эксель- наше все :)
З.ы. на вскидку- найти ссылки на страницу(ы) с минимальной вложенностью.
всего-то 30 минут?
Неужто феминизм и до сюда дошел? Уравнять в правах!
