nevadimko: Почему, как хочет так и всовывает яндекс свои сервисы (яндекс новости, яндекс маркет, яндекс директ теперь, свои сайты, кинопоиск, авто ру и тд.) на искл. первые позиции.
Я могу на ваших сайтах разместить свой баннер на безвозмездной основе? Впрочем и ссылки с аннотацией хватит.
Но уже такой тренд несколько лет. Позиции зависят от программера сайта.
Тематика/функционал может зависит от разработчика? Один делает по авто тематике, другой по печати..
Почему, как хочет так и всовывает яндекс свои сервисы (яндекс новости, яндекс маркет, яндекс директ теперь, свои сайты, кинопоиск, авто ру и тд.) на искл. первые позиции.
Я могу на ваших сайтах разместить свой баннер на безвозмездной основе? Впрочем и ссылки с аннотацией хватит.
Не пора продавать за рубли?)
о возможности взыскания речь не идет
При наличии права требования взыскание возможно...
Это несколько уже работающих парсеров у разных людей, чуть хуже моего примера, но незначительно.
Пример именно парсера на несколько тысяч сайтов?
Вопрос не в парсинге одного сайта. Это не сложно. Несколько другое дело масштабировать это.
Вы указывали пример с агрегатором, в который данные вносятся на несколько сотен сайтов. Это не парсер.
чего это они. там чел эксперимент проводит
В теории можно жить и работать, не выходя из жилья.. Но зачем..
ну лет через 9 примерно окупится)
12,5 лет по вашим данным. Но срок будет больше. Ибо налоги, простои, ремонт.
Насколько часто Вы используете поиск по фрагментам данных на страницах?
Бывает нужно раз в месяц примерно.
Обычно делаю "дамп" сайта в текстовые файлы и поиск через notepad++ /командеры.
Там и регулярки есть)
Не думаю что это очень актуально для большинства сайтов. Там можно и ручками посмотреть (ибо малое количество страниц).
Можно чуть-чуть подробнее? Не совсем понял, что значит обрабатываются?
В Хену паук не идет по редиректу.
Т.е. на странице А стоит редирект на Б. Хену отмечает только наличие редиректа с А, но не идет на Б.
Более поздние пауки обычно ходят.
---------- Добавлено 14.06.2018 в 18:00 ----------
Но зачем это делать вручную, когда это можно автоматизировать?
Иногда бывают не тривиальные задачи, которые не делают парсеры. Тогда выгрузка в эксель- наше все :)
З.ы. на вскидку- найти ссылки на страницу(ы) с минимальной вложенностью.
гордо_стою_30_минут_и_пою_гимн:
всего-то 30 минут?
Страшная непоправимая несправедливость!
Неужто феминизм и до сюда дошел? Уравнять в правах!