statoperator - контент аналитика крупных проектов

Цель каждого сайта - дарить пользователям (и поисковым системам) чудесный и уникальный контент. В рамках этой концепции, каждый урл, который вы собрались стримить в мир, должен представлять из себя ценность как конент, иначе его существование бессмысленно. :)

В процессе создания крупных коммерческих проектов (екомерс, маркетплейсы) неизбежно генерируется огромное количество страниц, контентная ценность которых может не удовлетворять поисковые системы. Например бесчисленные листинги, сгенерированные автоматически из одних и тех же объектов.

Это приводит к определенным проблемам:

• страницы не лезут в индекс

• трафик неравномерно распределен по сайту (на одних страницах с контентом траф есть, а на других нет)

Причина такого поведения поисковой системы часто кроется в том, что поисковик не видит ценности в таких страницах. Не видит он её потому, что другие страницы сайта уже отвечают на все запросы, которые могут вести на эту страницу. Такой урл помещается в отдельный индекс - сопли у гугла или мусорный/скрытый индекс у яндекса.

Для того, чтобы избежать таких ситуаций, требуется каким-то образом оценивать свои урлы на предмет контентной уникальности в рамках сайта, а еще лучше, в рамках интернета.

Стандартным средством для проверки страницы на уникальность является анализ по n-граммам. Контент каждой страницы разбивается на шинглы (n-граммы) и пересекается между шинглами других страниц сайта. В результате такого пересечения получается матрица частотности употребения каждого шингла страницы в рамках сайта, что дает чёткое представление о количестве дублированного контента. Аналогичные методы давно используют все коммерчески успешные поисковые системы: Google, Baidu, Bing, Yandex.

Задача разбиения большого числа страниц на шинглы и их пересечения достаточно нетривиальна. Мы предоставляем эту улугу как сервис, пересекая собранные шинглы с вашего сайта не только между собой, но и с внешней базой. Внешняя база собирается индивидуально, с учетом требований заказчика. Стандартная эталонная база 5-10 млрд шинглов, но мы можем обойти и миллиард страниц, если надо. :)

В результате вы получаете важнейшие показатели страницы:

• процент внутренней уникальности страницы в рамках сайта

• процент внешней уникальности страницы в рамках заданного сегмента

Вам остаётся своевременно отслеживать страницы с низкими показателями и проводить над ними работу: “разбавлять” уникальным контентом, удалять из сайтмепа низкокачественные страницы, выполнять прочие действия, направленные на то, чтобы на сайте не было страниц, не представляющих собой ценности.

Дополнительно мы можем рассчитать показатель “запросности” ваших страниц. Для этого мы обрабатываем предоставленную семантику (кейворды) и пересекаем ее с шинглами страниц. Показатель запросности отвечает на вопрос “а сколько вообще трафика может дать эта страница в рамках моего семантического ядра”. Страницы с высоким показателем запросности, находящиеся в индексе, участвующие во внутренней перелинковке, но не имеющие трафика - повод для того чтобы повнимательнее взглянуть на них.

Дополнительно, мы можем посчитать какие-то индивидуальные характеристики. Например разбить шинглы на тематические кластеры, оценить комерчесскость, водность, или сложность текста. Также можно задать параметры формирования шинглов - min/max длина слова, учет спецсимволов, итп.

Бонусом грепнем базу шинглов по вашим кейвордам и отгрузим результат -)

Мы не позиционируем сервис как чудо, враз решающее все проблемы с контентом, однако количество информации, которое он может дать к размышлению - огромно.

Summary

Сервис предоставляет услугу, в рамках которой:

• Роботы сканируют весь сайт, или указанные урлы;

• аналитическая система рассчитывает показатели внешней/внутренней уникальности страниц;

• генерируется общий перечень страниц с ключевыми показателями + отчёт по каждой странице с подробным разбором шинглов, наглядно отражающий что конкретно и с чем пересекается

• по желанию отчет обогащается индивидуальными показателями (запросность по ядру, водность, etc.)

В итоге вы получаете ясную картину о том, что представляет из себя контент каждой страницы сайта.

Кому будет полезен сервис:

• крупным коммерчесским проектам (екомерс, маркетплейсы)

• проектам, проповедающим принцип - больше страниц в индексе - больше трафика

В качестве демо мы пересекли по шинглам все морды доменов, находящихся в Alexa Top 1M и разместили отчёты по адресу http://data.statoperator.com

Все заинтересовавшиеся вебмастера могут проверить свои домены, посмотреть как морды проектов пересекаются по контенту и обвязке с другими сайтами, у кого какие сателлиты, кто у кого ворует и многое другое.

Примеры:

http://data.statoperator.com/report/pornhub.com/

http://data.statoperator.com/report/lamoda.ru/

http://data.statoperator.com/report/lenta.ru/

Сводную статистику датасета и цены на сервис можно найти на странице http://data.statoperator.com/about/

Приятного просмотра.

Вопросы по сервису можно задать здесь, или в личке мне или daocrawler