Определение технологий на веб-сайтах

Да вы и не начинали. Это был ответ на другой пост, что проще самому на своем же сервисе нагенерить страниц.

Если бы была такая цель, давно бы сделал их уже не одну сотню тысяч....

Новая версия стала уметь определять чуть больше различных технологий, чем раньше. Помимо этого и сам инструмент в этой версии выполнен по другой технологии, по сравнению с предыдущей версией.

Возможности инструмента к версии 3.0:

Проверка сайта идет не только на основе главной страницы, но и включает в себя проверку от 1-й до 19-ти внутренних страниц. На основе этих проверенных страниц, инструмент выводит пользователю следующие данные:

• заголовок сайта. Здесь выводится title главной страницы сайта.
• список технологий на сайте. Здесь будут выведены все те технологии, которые были использованы при создании сайта и которые смог определить инструмент. Данные сформированы на основе как главной страницы, так и проверенных внутренних.
• список проверенных страниц. Здесь в табличном виде выводится список проверенных внутренних страниц. Для каждой страницы указан:
• заголовок (title) страницы. Он кликабелен и при клике на него вы перейдете на страниц сайта;
• размер (вес) страницы
• количество заголовков H1-H6 на странице;
• Moz PA страницы;
• Moz Rank страницы;
• список заголовков H1-H6 главной страницы сайта;
• список заголовков HTTP главной страницы сайта;
• информация из Moz по главной странице сайта:
• Domain Authority;
• Page Authority;
• Rank;
• Дата;
• список мета-тегов главной страницы сайта;
• список изображений, найденных на главной странице сайта. Для каждого изображения указано:
• URL изображения. Он кликабелен. При клике откроется изображение в новой вкладке;
• аттрибут alt;
• HTTP code по URL картинки. На его основании можно, например, судить, доступна ли вообще картинка по указанному URL.
• список иконок сайта, найденных на главной странице сайта;
• дата проверки. Здесь выводится та дата, на которую идет просмотр текущей страницы с результатами проверки.
• история проверок сайта. Здесь выводится список дат, в которые был проверен сайт. При клике на дату будет сделан переход на просмотр результатов проверки на выбранную дату.
• скриншот главной страницы сайта;

Инструмент по-прежнему здесь.

Пример страницы с выводом данных по проверенному сайту - здесь.

Добавлено определение новых технологий:

• Ecommerce
• Bizweb (bizweb.vn)
• Ideasoft (ideasoft.com)
• JET Enterprise (etecommerce.com.br)
• KobiMaster (kobimaster.com.tr)
• NEO - Omnichannel Commerce Platform (jetecommerce.com.br)
• Rayo (rayo.ir)
• Textalk (textalk.se)
• Ticimax (ticimax.com)
• Tictail (tictail.com)
• T-Soft (tsoft.com.tr)
• WebSite X5 (websitex5.com)
• Wikinggruppen (wikinggruppen.se)
• Dev Tools
• Jahia DX (jahia.com/dx)
• PHPDebugBar (phpdebugbar.com)
• JavaScript Frameworks
• ef.js (ef.js.org)
• Neonclear (neon.atm.re)
• CMS
• Jahia DX (jahia.com/dx)
• Simplébo (simplebo.fr)
• Web Frameworks
• Material Design Lite (getmdl.io)
• Next.js (zeit.co/next)
• Web Servers
• Next.js (zeit.co/next)
• Now (zeit.co/now)
• Live Chat
• Raychat (raychat.io)

Полный список того, что умеет определять инструмент - здесь

Выложены очередные обновления. В них среди прочих исправлений, добавлено:

• данные по домену (пример):
• дата регистрации домена;
• дата завершения регистрации домена;
• возраст домена в днях;
• количество дней до завершения регистрации домена;
• список NS;
• регистратор домена;
• IPv4;

• данные по SSL сертификату (пример):
• кому выдано:
• общее имя (CN);
• организация (O);
• подразделение (OU);
• серийный номер;
• кем выдано:
• общее имя (CN);
• организация (O);
• подразделение (OU);
• срок действия:
• действителен с;
• действителен до;
• осталось (дней);
• отпечатки:
• алгоритм подписания сертификата;
• прочее:
• версия;
• домены;
• основные ограничения сертификата;
• использование сертификата ключа;
• адреса распространения CRL;
• политики сертификата;
• расширенное использование ключа;
• идентификатор ключа центра сертификации;
• доступ к информации о центре;

• информация из Google:
• PageSpeed общий балл по главной странице сайта;

Ещё можно использовать builtwith. Плагин и расширение в хроме позволяет за 5 секунд узнать массу о технологиях и фреймворках

Добавлено:

• проверка наличия и содержимого файла robots;
• определение названия internet-хоста сервера, на котором расположен сайт;
• проверка местоположения сервера, на котором расположен сайт;
• переход на https и HTTP/2;

Полный список возможностей по-прежнему здесь.

Проверить сайт

Не слышал ранее о таком. Хотя и не принято в таких топиках рекламировать другие продукты, но все равно, спасибо. Технологии определяет, но на 3-х из 7-ми сайтов определил не существующие и не определил существующие. Но, это нормальная погрешность. Кстати, очень быстро выдает результат, как будто уже из кэша, т.е видимо ходит какой то паук этого сервиса.

Выложены очередные обновления.

Добавлено:

• вывод местоположения сервера на карте;
• обработчики ошибок сбора технологий;
• определение категории сайта по версии VirusTotal;
• определение категории сайта по версии Forcepoint;
• определение категории сайта по версии BitDefender;
• определение родственных доменов сайта (sibling domain);
• определение поддоменов сайта;
• определение датацентра;
• определение доменов, разрешенных для IP-адреса сайта;
• определение IP-адресов, на которых расположен сайт;
• определение данных по безопасности по версии Webutation;
• проверка на вирусы;

Исправлено:

• определение кодировки проверяемого сайта;
• валидация ввода доменов - исправлена ошибка, при которой нельзя было проверять сайты, в домене которого 4 символа, например, asia;
• мелкие правки по выводу данных;

Полный список возможностей инструмента - здесь.

Добавлено определение новых технологий:

• в категории CMS:
• Hinza Advanced CMS (hinzaco.com);
• PHPoole (phpoole.org);
• в категории Ecommerce:
• Hinza Advanced CMS (hinzaco.com);
• Storeden (storeden.com);
• в категории Blogs:
• PHPoole (phpoole.org);
• в категории JavaScript Frameworks:
• Fingerprintjs (valve.github.io/fingerprintjs2);
• в категории Captchas:
• CoinHive Captcha (coinhive.com);
• в категории Web Frameworks:
• Amber (amberframework.org);
• Blade (lets-blade.com);
• Bulma (bulma.io);
• Includable (includable.com);
• в категории Miscellaneous:
• CoinHive (coinhive.com);
• в категории Web Servers:
• Amber (amberframework.org);
• Blade (lets-blade.com);
• в категории Marketing Automation:
• Mautic (mautic.org);
• в категории Advertising Networks:
• Anetwork (anetwork.ir);

Добавлено:

• определение Open PageRank от сервиса DomCop;
• определение Open Rank от сервиса DomCop;

Полный список возможностей инструмента - здесь.