Народный SEO Spider - разработка программы для глубокого аудита сайтов

vovabigov, мне кажется, вы сейчас не про краулер сайта говорите :o

Для анализа морфологии нужен морфологический словарь (для каждого языка) с лицензией для свободного ком. использования. Словари такие весьма большие: около 500 мбайт. Если есть ссылка - прошу подкинуть.

Анализ конкурентов по запросу и сравнение формата их страницы со страницей своего сайта впринципе возможен. Мы можем позволить сделать запрос всего к 1 странице сайта конкурента. Т.к. с одного запроса итак получается 10 страниц разных сайтов. Нужно заранее продумать, что именно мы хотим там найти.

Сбор анкор листа страницы из внутренних ссылок возможен. Для получения списка внешних ссылок нужна интреграция с сервисами. Это опять же возможно, но нужно определить какие из них нам нужны в первую очередь, т.к. наиболее точная информация у сервисов с платной подпиской.

Для русской морфологии можете попробовать AOT:

http://www.aot.ru/

Он небольшой - 16 MB вместе с бинарниками и словарем для русского языка.

У проекта открыты исходники, так что можно попробовать собрать словари для английского и немецкого языка:

https://sourceforge.net/projects/seman/

Из недостатков - нет готовых бинарников для x64.

А так - замечательный проект.

Bukvarix, спасибо! На sourceforge, правда, так и не нашел морфологических словарей.

Добрый день!

Хочу купить 3 лицензии + 5 лет апдейтов (1950 рублей до 10-го сентября).

К сожалению у Вас на сайте только отсталые вебмани. Добавьте, пожалуйста, киви / яндекс деньги / рбк мани / банковский перевод.

Пожалуйста!

Они вот здесь:

https://sourceforge.net/p/seman/svn/HEAD/tree/trunk/Dicts/SrcMorph/

Но мы не пробовали их (словари) собирать из исходников, а брали готовые бинарные файлы для русской морфологии с самого сайта aot.ru (нам была нужна только русская морфология).

atseo, ответил в ЛС.

Bukvarix, еще раз спасибо. Базу нашел, но нужно разобраться и протестировать. Есть также проект OpenCorpora, но база довольно весомая получается.

У меня ссылки нет)). Вы спрашивали про желаемый функционал, я его озвучиваю.

Можно сделать этот функционал точечным - то есть не автоматизированный парсинг всех страниц конкурентов, а ручной запуск парсинга для конкретного запроса.

Задали запрос - определили нашу посадочную страницу - собрали инфу с конкурентов - сравнили.

Что интересует у конкурентов:

- вхождение ключевого запроса во всех словоформах в тайтл, мета-теги, заголовки, текст (распределение по тексту - ближе-дальше к концу), альты, тайтлы картинок/ссылок. Сравнение с нашей страницей

- сбор тезаруса (ниболее употребимых слов и словосочетаний)

- наличие на страницах конкурентов видео/таблиц/списков/ссылок на файлы (ПДФ, ДОК, ЭКСЕЛЬ), форм обратной связи.

По оплате - киньте номер Я.денег или карты сбербанка. Вебмани, к сожалению, нет.

vovabigov, я не могу обещать вам, что мы реализуем такого рода функционал. Поэтому вам лучше подождать релиза, чтобы сделать выводы.

Добавили кошелек Яндекс.Деньги (см. на нашем сайте).

Осталось меньше суток для предзаказа лицензии по крайне низкой цене ☝

Оплатил 3 лицензии с 5 лет апдейтов.

Надеюсь и верю, удачи Вам!

Заказал одну лицензию на 5 лет. Жду релиза.🍿