Подскажите идею для написания SEO программы

скажу так - у меня достаточно опыта, коммерческий опыт разработки с 2003 года, программирую с 1997. Основной язык Java. Пока все еще работаю нанятым батраком(я Solution Architect), паралельно веду свои проекты. В данный момент захотелось чего то нового, именно поэтому создал данную тему в надежде найти отправную точку для нового проекта.

Маркет-XML.

Есть какая-то дыра как тырить запросы и отдавать за денежку.

Спрос достаточно большой. Предложений не много.

Явно не парсят, может какой мобильный клиент имеет близкий АПИ, может еще какие дыры. Не курил тему глубоко. Существующие предложения имеют кучу минусов. Клиентуру получите быстро и много.

Пытаюсь представить кейс как использовать этот инструмент. Сюдя по всему даже если реализовать его, то кроме графического представления стат веса на сраницу больше ничего из него не увидеть. И чем вам page-weight не угодил? Страница - вес... по каждой циферки которые отличаются друг от друга иногда на сотые. В общем кейса такого парсера, единственной особенностью которого будет графическое представление связей между страницами не могу придумать.

А вот кейс в котором оптимизатору нужно следить за соответствием кучи запросов документу в разных его зонах я вполне могу представить.

Большинство софта на рынке SEO смотрит на задачи оптимизатора как то однобоко. Либо видим запросы и их позиции (снималки позиций, кластеризаторы, анализаторы конкурентов), либо видим ошибки в технике сайта по страницам (парсеры во всех их видах, анализаторы индексации)... но нет такого что бы видели пару запрос - документ + анализ в каких именно местах документ соответствует запросу и сколько раз. Уже спрашивал подобный софт тут /ru/forum/950526

а вот это интересная мысль, круто будет если кто-нибудь сделает подобное :)

Это только часть функционала. Я дал идею, а развивать тему можно далеко. Но зачем мне тратить на это время, если я не пишу эту программу для себя?

проект заинтересовал.

где можно почитать инфомацию по какому принципу расчитывать внутренний вес страниц сайта базируясь на результатах его обхода ?

Ну к примеру учет входящих, исходящих ссылок со страницы.. как теже параметры ссылок с входящих страниц(какая глубина вложенности берется во внимание) влияют на вес искомой страницы ? Даже такое банальный вопрос - что есть активная(учавствующая в расчете) ссылка - это анкор который явно присутствует в HTML либо это даже динамическая ссылка которая была подрошена в DOM ?

Буду благодарен любой инфе на данную тему.

brunoid, Попробуйте начать вот тут https://www.page-weight.ru/theory/chapter/1/

спасибо.

Вот еще думаю над одной проблемой. Все заинтересованы в поиске входящих ссылок на свои ресурсы или ресурсы конкурентов.

Информация эта труднодоступна и зачастую стоит денег от различных сервисов таких к примеру как ahrefs.com

Наибольшая проблема в построении такого сервиса как ahrefs это ресурсы необходимые для краулеров мониторящих web в поиске искомой информации(к примеру backlinks) Актуальность информации выдаваемой этими сервисами напрямую будет зависеть от их серверных мощностей и способности обрабатывать определенный масив данных.

Так вот пришла в голову мысль - что если развернуть этот подход и перенести сбор и обработку информации на машины пользователей этого сервиса. К примеру вы СЕОшник и вас интересуют backlinks и прочая инфа. Вы регистрируетесь на сервисе, качаете десктопный клиент который устанавливаете у себя на компе. Он будет получать задания с сервера по обработке определенных веб ресурсов и передавать результаты обратно на сервер. За кол-во обработанной информации этим клиентом под вашей учетной записью вы будете получать энное кол-во кредитов которое позволит вам потратить их в сервисе для получения той или иной информации.

Есть смысл в таком подходе ?

Как-то давно спрашивал: /ru/forum/897268

Смысл есть, но насколько это актуально сейчас - нужно исследовать.

Majestic начинал с этого, вот их старое интервью:

http://distributed.org.ua/index.php?go=Pages&in=view&id=172

Конкретно там упоминается:

Alex Chudnovsky: Это делается людьми, которые присоединяются к нашему проекту, Majestic-12 Distributed Search Engine project. Они присоединяются и используют на своих компьютерах наше программное обеспечение. Непосредственно мы ничего не устанавливаем. Мы создали себе имя в области распределенных вычислений, и это стопроцентные добровольцы. В этой области есть много проектов, но мы уникальны среди проектов распределенных вычислений, обычно интенсивно использующих процессор.

Сам https://www.majestic12.co.uk/ по прежнему жив, но занимается он линками или чем-то ещё -нужно смотреть.