RiveSolutions SEO Spider - Страница 5 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 14.06.2018, 17:39   #41
AndrAscii
Студент
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 24
Репутация: 3057
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

Цитата:
Сообщение от burunduk Посмотреть сообщение
AndrAscii, писать то что нужно именно вам
Так мы сами используем свою программу
Дело в том, что наши задачи одни, у других немного другие.
Все перечисленное Вами, это по сути маленькие надстройки, которые делаются очень быстро.
Мы хотим выделить основу, которая нужна максимально большому числу людей и сделать ее максимально круто.
Вот в чем наша задача.
AndrAscii вне форума   Ответить с цитированием

Реклама
Старый 17.06.2018, 17:34   #42
AndrAscii
Студент
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 24
Репутация: 3057
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

В прошлый раз немного сумбурно перечислил основные возможности.
Поэтому решил исправиться и немного структурировать информацию.
Вот что получилось:

И так, далее список с кратким описанием основных возможностей программы.

Основные возможности:
  • Ресурсы сайта - на странице "Все ресурсы" проводится разбиение ссылок по типам ресурсов (html, css, js, image, flash, video, images и т.д.), а также разбиение на внутренние и внешние ресурсы.
  • Обновление страниц - есть возможность обновления данных страниц, чтобы динамически просматривать внесенные вами изменения прямо в процессе анализа сайта!
  • Создание XML карты сайта.
  • Экспорт в excel в один клик.
  • Сохранение состояния анализа сайта для продолжения анализа с той же точки!
  • В программе есть уникальная возможность создания PDF отчета о проведенном техническом анализе сайта.

В программе все данные представлены в виде фильтров.
Это очень удобное разбиение анализируемых параметров.
Каждый фильтр отображает страницы, как группу, например "Дубликаты title" - в этом фильтре будет собрана группа ссылок, дублирующих значение тега "title".
Каждый фильтр можно экспортировать в excel для составления ТЗ технарям по дальнейшей работе с сайтом в один клик.

Список анализируемых параметров:
  • URL - адрес страницы
  • Битые ссылки - поиск битых ссылок с кодом ответа 4хх.
  • Проблемы сервера - поиск ссылок с кодом ответа 5хх.
  • LinkCanonical – определяется наличие атрибута rel="canonical" и на какой адрес он указывает.
  • Ответ – все коды состояния HTTP в ответе сервера.
  • Title – тег "title", расположенный в контейнере "head", который определяет заголовок документа.
  • Description – содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.
  • Keywords – содержание мета-тега, отвечающего за ключевые слова, встречаемые на веб-странице. Добавлен для справки, т.к. гугл и яндекс не используют его.
  • Редиректы - определяется редирект со страницы, их количество, выводится адрес редиректа, а также происходит обработка страницы редиректа.
  • Заголовки (H1) - количество заголовков первого уровня, а также их пропуск и дубликаты.
  • Заголовки (H2) - количество заголовков второго уровня, а также их пропуск и дубликаты.
  • Ссылки с этой страницы – количество исходящих ссылок с данной страницы в пределах всего сайта.
  • Ссылки на эту страницу – количество входящих ссылок на данную страницу в пределах всего сайта.
  • Внутренние ссылки – количество ссылок с конкретной страницы на сканируемый сайт.
  • Внешние ссылки – количество ссылок с конкретной страницы на другие сайты.
  • Дубли по Title – определяются группы страниц с дублирующимся тегом "title".
  • Дубли по Description – определяются группы страниц с дублирующимся мета-тегом "description".
  • Дубли по Keywords – определяются группы страниц с дублирующимся мета-тегом "keywords".
  • Пропуск Title – определяются группы страниц с отсутствующим или пустым тегом "title".
  • Пропуск Description – определяются группы страниц с отсутствующим или пустым мета-тегом "description".
  • Пропуск Keywords – определяются группы страниц с отсутствующим или пустым мета-тегом "keywords".
  • Несколько Title – определяются группы страниц с наличием 2 и более тегов "title".
  • Несколько Description – определяются группы страниц с наличием 2 и более мета-тегов "description".
  • Несколько Keywords – определяются группы страниц с наличием 2 и более мета-тегов "keywords".
  • Регулировка длины - можно регулировать длину title, desciption, keywords, h1, h2, атрибут alt изображений.
  • Битые изображения - поиск и выделение битых изображений.
  • Атрибут alt изображений - поиск изображений с пустым или отсутствующим атрибутом alt.
  • Meta refresh - определяется наличие meta refresh тега на страницах сайта.
  • Фреймы - определяется наличие фреймов на страницах сайта.

Закрытые от индексации страницы.
В программе имеются фильтры, в которых собраны все ссылки на страницы, закрыте от индексации по определенному критерию.

Вот эти критерии:
  • robots.txt – определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.
  • Meta Robots - по наличию мета-тега "robots" определяется доступность для индексации страницы. А также разрешен переход по ссылкам на ней или нет.
  • X-Robots-Tag - аналогично Meta Robots, но определение идет на основе заголовка ответа сервера.
  • rel="nofollow" - по атрибутам тега "a" определяется доступность для индексации ссылки на страницу поисковыми системами.

Основные настройки.

Настройки краулера:
  • Вкл/выкл переход по внешним ссылкам.
  • Вкл/выкл переход по внутренним nofollow ссылкам.
  • Вкл/выкл переход по внешним nofollow ссылкам.
  • Вкл/выкл учет canonical страниц.
  • Вкл/выкл переход по адресам поддоменов.
  • Анализ страниц за пределами стартовой папки - помогает ограничить круг ссылок для анализа. Например если вам нужно анализировать ссылки только в определенной папке.
  • Выбор робота, правилам которого следовать при учете robots.txt и meta robots.
  • Вкл/выкл проверку изображений.
  • Вкл/выкл проверку CSS.
  • Вкл/выкл проверку JavaScript.

Отключение анализируемых параметров приведет к ускорению процесса анализа сайта.

Настройки паузы между запросами:
На некоторых сайтах есть защита от частых запросов. При которых включается блокировка.
На этот счет предусмотрено задание паузы между запросами, которая задается в виде диапазона.
Например от 1 секунды до 10 секунд.
Пауза каждый раз будет выбираться случайно для эмуляции человеческого поведения.

Настройки профиля вашей компании:
  • Есть возможность задать имя вашей компании, ее email и адрес вашей компании.
  • Эти данные будут фигурировать как подпись для сгенерированного вами PDF отчета об аудите, который обычно показывают заказчику.
  • Этот данные будут служить визитной карточкой для ваших клиентов.

Настройки лимитов:
  • Максимальная длина ссылки для краулинга - краулер не станет переходить по ссылкам длиннее указанного числа символов. (в разработке)
  • Ограничение количества ссылок для загрузки - краулер не станет загружать больше указанного числа ссылок с сайта. (в разработке)
  • Максимальный таймаут - краулер будет обрывать соединение для загрузки ссылок, превышающие заданный в миллисекундах таймаут.
  • Максимальное количество цепочки редиректов - краулер не станет переходить по цепочке редиректов превышающие указанное число.
  • Максимальное количество ссылок на одной странице - страницы с превышающим заданным вами числом будут попадать в фильтр "Слишком много ссылок на одной странице".

Настройки параметров размера/длины:
  • Минимальная/максимальная длина description - ссылки меньше заданной длины попадут в фильтр "Слишком короткие Meta Description", ссылки превышающие заданную длину попадут в фильтр "Слишком длинные Meta Description".
  • Минимальная/максимальная длина title - ссылки меньше заданной длины попадут в фильтр "Слишком короткие title", ссылки превышающие заданную длину попадут в фильтр "Слишком длинные title".
  • Максимальная длина H1 - ссылки больше заданной длины попадут в фильтр "Слишком длинные H1".
  • Максимальная длина H2 - ссылки больше заданной длины попадут в фильтр "Слишком длинные H2".
  • Максимальный размер страницы в киллобайтах - страницы превышающие заданное число будут попадать в фильтр "Страницы больше N кб". (в разработке)
  • Максимальный размер изображения в киллобайтах - изображения превышающие заданное число будут попадать в фильтр "Изображения больше N кб". (в дорабатывается)
  • Максимальная длина alt атрибута изображения - изображения, где атрибут alt превышает заданное макс. значение попадают в фильтр "Изображения с длинным alt атрибутом".

Для каждого из этих критериев вы можете задать собственные значения и видеть в выдаче ссылки на страницы, выходящие за рамки заданного вами диапазона.

Настройки прокси:
  • Есть возможность использовать прокси для краулинга сайта.
  • Поддерживаются прокси с авторизацией. Можно использовать, в случае, если вас все же заблокировали за частые запросы.

Настройки User Agent:
  • Можно настроить User Agent как мобильный, так и десктопный.
  • Есть заранее определенные строки для User Agent.

Будущий функционал и функционал в разработке:
  • перевод на русский язык (в активной разработке, будет в скором времени).
  • поиск по фрагментам кода на страницах сайта.
  • возможность задания цвета для разных проблемных критериев сайта, вы сможете в списке всех страниц сайта сразу увидеть искомый параметр. Это будет удобным дополнением к фильтрам.
  • древовидное отображение сайта.
  • поле для поиска конкретных страниц.
  • ну и конечно исправление багов, крашей и прочих недоработок.
Изображения
         

Последний раз редактировалось AndrAscii; 17.06.2018 в 18:49..
AndrAscii вне форума   Ответить с цитированием
Старый 18.06.2018, 11:48   #43
AndrAscii
Студент
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 24
Репутация: 3057
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

Вышло обновление 1.0.2

Изменения:
  • добавлен частичный перевод на русский язык (как многие просили)
  • убрано ограничение задания максимального размера страницы на сайте
  • доделана опция задания таймаута для запросов
  • убрано отображение пустых полей в фильтре "Пустые meta description"
  • унифицировано затенение фона при показе диалогов

Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.
AndrAscii вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 17:35. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны