Как отмониторить изменение на страницах чужого сайта?

Если на странице есть общий тег, в котором меняется контент, то можно парсить и сравнивать с уже отпарщенным... 🍿

Я так пару раз цены парсил у конкурентов :)

Нету, в том-то и беда.

Черте-что при копипасте из ворда в визуальный редактор у них получается - то span, то p, то b и т.п. С простынкой атрибутов каждый раз разной.

Это же вроде почти одно и тодже :)

---------- Добавлено 21.07.2016 в 22:21 ----------

Не, ну общий дизайн же у сайта есть, то есть должна быть область контента... Или там совсем все непонятно? Странно...

Если полная каша - сравнивайте весь html :)

ziliboba0213, "ежедневный проход" имелось ввиду руками и глазами

А в чем проблема не понимаю? Тащите страницу всю каким нибудь file_get_contents (PHP), запихиваете в md5 (PHP) и складываете все в базу вида url|hash

И парсите хоть каждые 5 минут, md5 быстрый алгоритм и не грузит железо, и сравнивайте хеши, изменился ли хэш или нет. Если изменился - шлите email

UPD: Есть более короткая запись md5-file

PS. Только используйте sleep чтоб не ложить сайт туроператора и запускайте из командной строки обернув все это в цикл, там (cli) обычно не ограничено время выполнения скрипта, и вот у вас уже "демон" болтается и следит за обновлениями. Можно пойти дальше и повесить мониторинг работы скрипта и если не работает перезапускать процесс :))

Что-то я вас не очень понимаю, что я понял в данный момент:

Вам надо отследить изменения на 100 страницах.

Это делается парсером по хрону. Минут за 30 написать такое можно, наверное :) Если что-то на одной из страниц изменилось - та страница указывается (перезаписывается, посылается на email и т.п.)

Если я вас не понял - извините, я пиво пью, немного не в тонусе 🤪

regta, поковыряйте оператор daterange в Google. Новые страницы он отлично показывает, а вот изменившиеся - не уверена, надо проверить.

- Если сервер правильно настроен - то должен отдавать хедер 304,etag и пр.

- Можно создать хеш страницы и сравнивать

- Можно привязатся не к тегам , а непосредственно к тексту:

т.е. как ,например,пишут цены: 1000 р.|1000 рублей|1000 руб. - создаем регулярку

Если увидеть пациэнта , можно подсказать более конкретно.

Спасибо за ответы. Но такой вопрос остался:

Если изменения произошли не в контентной части страницы, а скажем в шапке или левом меню (допустим верстку поправили или баннер какой запхнули)

То в этом случае, хэш конкретной страницы изменится? Дата изменения страницы - изменится? Как отделить эти ложные срабатывания?

Там в любом случае есть контентный блок, без сайдбаров, шапки и футера, хэшировать тогда только его. Ну или проверять, если сменились больше N хэшей подряд, то скорее всего изменился элемент дизайна/добавили ссылку/написали новость ну и так далее, то есть изменения прошли сразу на всех страницах. Вот тут надо просто понять допустимое значение N