Как сравнить две html страницы через php

neoks, Вряд ли хеши вам здесь помогут - с ними можно проверять на полное тождество/нетождество.

Это десять сравнений в секунду. ПХП вам вряд ли поможет. В питоне к примеру есть модуль difflib, позволяющий выявлять разницу между двумя текстами, но по опыту могу сказать, что работает не очень быстро, хотя там есть несколько методов с разной точностью и скоростью. Или можно что-то с обратным индексом замутить (аля поисковая система), но опять таки у вас поиск не по короткой фразе будет, а по большому тексту, что скажется на производительности.

borisd, Я сделал псевдохеш сверяя текс и шаблон, но размер этого хеша достаточно велик и поиск по такой базе происходит очень долго. Питон к сожалению не вариант.

Ознакомьтесь с питоновским модулем, а потом попробуйте его аналог на ПХП:

https://github.com/chrisboulton/php-diff

---------- Добавлено 22.05.2016 в 14:44 ----------

Еще можно страницы представлять как мешки слов (без учета последовательности слов и повторов), т.е. в виде множеств слов. Потом для двух сравниваемых страниц определять отношение длины пересечения множеств слов двух страниц к длине множества слов одной страницы. Если отношение меньше определенного порога, то страницу забраковывать. Это будет грубая, но быстрая провекрка. А если же страницы проходят эту грубую проверку, то далее они отправляются на точную, но медленную проверку.

а структура у этих страничек одинаковая?

а вот эти тексты на сколько % расходятся?

<p>У попа было собака</p>
<span>У <strong>попа</strong> было собака</span>

С хешами не получится, ИМХО

Попробуйте strip_tags и levenshtein ( или similar_text, но она медленнее ), если нужно сравнивать контент, а не шаблон.

метод шинглов для начала.

задавался таким же вопросом. готовых адекватных решений пока не увидел. копал не глубоко

---------- Добавлено 23.05.2016 в 13:47 ----------

как-то не айс совет-то

Dinozavr, Я отдельно текст и шаблон проверяю, оставляю только текст без тегов и т.д, но сам текст может быть разный на 90%

colorito, Попробовал similar_text, очень медленная функция, остальное посмотрю.

borisd, Ваш метод проверяет 10к шаблонов в секунду, на данный момент самый быстрый способ, останавливаюсь наверно на нем, для текущих задач хватит.

TF-Studio, метод шинглов к сожалению смог разогнать только до 4к шаблонов в секунду.

---

Всем спасибо за помощь :)