AndrAscii

Рейтинг
15
Регистрация
22.05.2018
Интересы
Разработка IT продуктов
Разработчик С++ команды RiveSolutions

Обновление 1.0.7

Изменения:

  • Реализован новый, более быстрый загрузчик. Теперь анализ сайта может занимать в разы меньше времени
  • Добавлено уведомление о необходимости перезагрузки программы при смене некоторых настроек, что более User Friendly
  • Добавлена колонка с типом протокола ссылки. Теперь в отдельном поле отображается протокол, http или https, удобно для сортировки
  • Добавлена колонка, выводящая информацию о времени загрузки страницы
  • Добавлено обрезание пробелов по краям значения тегов H1/H2, теперь данные нормально отображаются в таблице
  • Link Info Tables (таблицы с Inlinks/Outlinks/HTTP Response Headers) теперь при старте программы скрыты, чтобы не занимать лишний раз область на экране
  • Исправлены и дополнены переводы на русский язык
  • Исправлен баг отображения количества проанализированных ссылок (раньше оно могло не совпадать с тем количеством, что есть в таблице всех ссылок в разделе `Все страницы сайта`)
  • Исправлен баг с заданием паузы между запросами. Раньше, она применялась всегда, даже если опция выключена
  • Исправлен баг отображения ссылок на страницу при включенной кастомной сортировки таблицы. Ранее при сортировки по номеру страницы по убыванию (как пример), ссылки на выбранную страницу были неверными
  • Реализован краулинг hreflang. В `Настройках краулера` можно включить эту опцию
  • Реализовано использование паникода
  • Изменена дефолтная ширина списка страниц настроек в окне настроек так, чтобы помещались все описания
  • Исправлена невалидная ширина кнопок в виджете обновления программы. Теперь весь русский текст помещается в ширину кнопки
  • Исправлен баг добавления новых фильтров поиска счетчиков яндекс метрики. Ранее невозможно было сразу добавить 3-4 новых фильтра
  • Опция `Переходить по внешним nofollow ссылкам` теперь является подопцией опции `Переходить по внешним ссылкам` на странице настроек `Настройки краулера`
  • Пофикшен краш при быстром рестарте программы. Ранее программа могла покрашиться, если ее быстро закрыть и тут же заново запустить
  • Переименован фильтр `Слишком длинные ссылки` на `Слишком длинные URL адреса`, что более четко описывает предназначение фильтра
  • Исправлен баг поиска страниц с остсутствующими счетчиками Яндекс Метрики. Раньше поиск производился также и для внешних страниц
  • Добавлены новые правила поиска страниц с отсутствующим счетчиком Яндекс Метрики в соответствии с обновленным методом отправки статистики Яндексом
  • Исправлен баг зависания окна `Starting crawler...` при вводе несуществующего URL-адреса
  • Добавлена опция максимального количества параллельных соединение с сервером для увеличения скорости анализа сайта (доступно только если вы используете новый загрузчик)
  • Временно убраны возможности сохранения состояния анализа проекта в файл

База знаний

Мы собираем часто задаваемые вопросы и публикуем их в своей базе знаний.

Эту базу знаний вы можете найти здесь: https://rivesolutions.com/faq/

Попробуйте, возможно ответ на ваш вопрос уже есть.

Мы постоянно пополняем эту базу и публикуем там мини статьи в стиле How To, так что для вас это действительно весьма полезно.

Новый загрузчик

Многие сервера имеют тенденцию обрезать скорость загрузки для одного соединения [IP address/port].

Мы написали новый загрузчик, который позволяет вам самим регулировать скорость анализа сайта.

Достигается это путем задания максимального количества параллельных соединений.

Задать эту настройку можно перейдя в `Настройки лимитов` => `Максимальное число активных соединений`.

Имейте ввиду - да, эта вещь быстрая, но до сих пор тестируется.

Если у вас возникают какие-то проблемы с загрузчиком, то вы всегда можете запустить программу с параметром --use_old_downloader

Старый загрузчик поддерживает максимум 6 параллельных соединений, он медленней, но уже многими протестирован и он просто работает.

Также стоит знать, что задавая слишком большое количество параллельных соединений у вас при недостаточной скорости интернета

загрузка страниц может начать возвращать код Timeout.

Происходит это по вполне понятное причине: попробуйте одновременно в браузере загрузить 500 страниц при учете, что загрузка будет происходить не при открытии страницы, а сразу.

Предварительные тесты при скорости интернета в 50мбит/с показали следующие результаты (Каждый тест проводился ровно 5 минут):

Сайт №1

  • Старый загрузчик (6 соединений): 7963 страницы
  • Новый загрузчик (24 активных соединения): 26436 страниц

Сайт №2

  • Старый загрузчик (6 соединений): 4129 страницы
  • Новый загрузчик (24 активных соединения): 8451 страниц

Сайт №3

  • Старый загрузчик (6 соединений): 5553 страницы
  • Новый загрузчик (24 активных соединения): 57895 страниц

Сайт №4

  • Старый загрузчик (6 соединений): 11980 страниц
  • Новый загрузчик (24 активных соединения): 46000 страниц


Для обновления вашей текущей версии программы, нажмите `Помощь` => `Проверить наличие обновлений` или `Help` => `Check for Updates`
Если вы еще не установили программу, то загрузить ее можно по ссылкам:
x64 windows 7 и выше - http://rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe
x86 windows 7 и выше - http://rivesolutions.com/downloads/win/x86/dist/seospiderinstaller-offline.exe
Или на официальном сайте - http://rivesolutions.com

Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте №1: apugachev@rivesolutions.com
  • по почте №3: kchetverikov@rivesolutions.com
  • по почте №4: feedback@rivesolutions.com
  • вконтакте: https://vk.com/public167900805
  • по skype: andrascii
  • или просто через окно отзывов в программе "Help" => "Send Feedback"

Также мы предлагаем Вам вступить в нашу группу вконтакте https://vk.com/public167900805

Спасибо за внимание. Ждем ваших отзывов!

Вышло обновление 1.0.6

Изменения:

  • Добавлена уникальная функция Яндекс Метрика Finder
  • Исправлен баг с невозможностью запустить краулинг с помощью второй кнопки Enter на клавиатуре
  • Исправлен размер текста в настройках для удобства чтения параметров
  • Немножко отредактирована страница настроек прокси. Некоторые контролы перемещены вправо
  • Исправление крашей
  • Программа полностью переведена на русский язык

Главная фишка этого обновления - Яндекс Метрика Finder

Яндекс Метрика Finder позволяет Вам определить, действительно ли Вы получаете полную статистику по посещаемости сайта из Яндекс Метрики.

Достигается это, за счет поиска конкретных счетчиков Яндекс Метрики на страницах Вашего сайта.

Все, что Вам нужно сделать - включить функцию поиска счетчиков и ввести номер счетчика для поиска!

Жизненный пример

Да, у нас есть ранние бета тестеры, которые получают сборки RiveSolutions SEO Spider для разработчиков.

Они успели протестировать эту фишку.

Нам запомнился пример одного интернет магазина.

По странным причинам из всего десяти тысяч (цифрами 10000!) страниц, на четырех тысячах (цифрами 4000!) не был установлен счетчик Яндекс Метрики.

В результате владельцы интернет магазина банально получали неверную статистику посещаемости!

Достаточно просто запустить программу, далее программа обнаружит наличие обновлений и попросит обновиться сама.
Если вы еще не установили программу, то загрузить ее можно по ссылкам:
x64 windows 7 и выше - http://rivesolutions.com/downloads/win/x64/dist/seospiderinstaller-offline.exe
x86 windows 7 и выше - http://rivesolutions.com/downloads/win/x86/dist/seospiderinstaller-offline.exe
Или на официальном сайте - http://rivesolutions.com

Не хватает в работе какой-то фичи в работе? Не стесняйся предложить её реализацию нам:

  • по почте №1: apugachev@rivesolutions.com
  • по почте №2: ekushnarev@rivesolutions.com
  • по почте №3: kchetverikov@rivesolutions.com
  • по почте №4: feedback@rivesolutions.com
  • вконтакте: https://vk.com/public167900805
  • по skype: andrascii
  • или просто через окно отзывов в программе "Help" => "Send Feedback"

Узнай над чем мы сейчас работаем: https://trello.com/b/6yoC35b0/rivesolutions-seospider

Также мы предлагаем Вам вступить в нашу группу вконтакте https://vk.com/public167900805

vold57:
Просканировал по 100 страниц последних двух сайтов в Smart SEO Tool. Результат около 2 минут.

Это хороший результат или нет?

xoxol4uk22, как и обещал прикрепляю скриншот о том, как сделать экспорт данных в таблицу.

png 12345.png
vold57:
Нужна возможность настроить, какие столбцы показывать, а какие нет - http://prntscr.com/kik3a6. Тоже самое для экспорта.

---------- Добавлено 14.08.2018 в 18:19 ----------

На сканирование сайта менее чем 500 страниц ушло 9 мин.40 сек.
Лягушка сделала это за 4 мин.15 сек.

Для экспорта в xlsx вы имеете ввиду?

На счет скорости краулинга сайта: скиньте пожалуйста сайт в личку, чтобы мы могли посмотреть в чем дело.

vold57:
Спасибо.)
При определении страниц с большим количеством ссылок, учитываются и ссылки на изображения, стили и скрипты? Если так, то тут тоже было бы неплохо указать чекбоксом, что нужно считать только ссылки на html страницы.

Я думаю к 1.0.6 или к 1.0.7 успеем это сделать.

vold57:
Для выбранной страницы я хочу получить ниже отдельно списки html страниц, скриптов, стилей и т.д. - http://prntscr.com/kiirrg.

Понятно, попробуем реализовать. Уведомим вас как сделаем.

vold57:
Еще момент. Было бы неплохо, чтобы в настройках можно было указать список ссылок из меню, которые не нужно учитывать в ссылках на странице и на страницу.

---------- Добавлено 14.08.2018 в 16:14 ----------


Это как в лягушке.)) Посмотрю сейчас. Может и то.

Ну это удобно, мы не могли пройти мимо этого равнодушно, реализовали в виде групп фильтров :)

---------- Добавлено 14.08.2018 в 17:18 ----------

vold57, на самом деле мы могли бы обсудить предложенный вами функционал более подробно, сделать прототип и дать вам попробовать его в "бою".

xoxol4uk22:
Очень не хватает, или я просто не нашел, чтобы после анализа я мог увидеть и скопировать все свои Тайтлы и все Н1. Именно для этого я чаще всего пользуюсь подробным ПО – для парсинга заголовков и тайтлов.
А сам анализ реализован удобно и работает все быстро. Нашел несколько картинок, которых уже не существовало по старому адресу.

Очень не хватает, или я просто не нашел, чтобы после анализа я мог увидеть и скопировать все свои Тайтлы и все Н1.

- Когда вы открываете любую таблицу, например по клику на фильтр, у вас на тулбаре должна загореться зеленая

иконка по клику на которую вы можете экспортировать все данные из выбранной вами таблицы в .xlsx файл.

К сожалению не могу сейчас приложить скриншот, так как я нахожусь сейчас не на работе. Как только освобожусь, сразу скину вам скриншот.

Но возможно вы найдете это раньше.

Попробуйте, скорее всего это именно то, что вам нужно.

---------- Добавлено 14.08.2018 в 16:49 ----------

vold57:
Не обследовал программу полностью, поэтому спрошу тут о том, что, возможно, уже реализовано.
"Ссылки на этой странице" - было бы неплохо, чтобы можно было указать не учитывать ссылки на некоторые виды ресурсов, например, на скрипты, стили, изображения. То есть, чтобы можно было посмотреть только ссылки на страницы сайта.

То есть вы предлагаете реализовать такую функциональность в этой таблице снизу?

Вообще, для таких целей мы пытались предусмотреть в принципе разбиение страниц сайта по типам.

На странице ресурсов "All Resources" или "Все ресурсы" имеется таблица фильтров.

Эти фильтры разбивают страницы сайта по типу контента.

Во-первых разбиение идет на группы: внутренние и внешние.

Во-вторых, каждая группа разбивается на фильтры:

- HTML Ресурсы

- CSS Ресурсы

- Ресурсы изображений

- JavaScript Ресурсы

- Flash ресурсы

- Видео ресурсы

- Прочие ресурсы

Это случайно не то, что вам нужно?

vold57:
AndrAscii, пару вопросов.
Что означает в настройках "Учитывать канонические страницы в анализе"? Означает ли это не учитывать неканонические страницы?
Что означает "Анализировать страницы за пределами начальной папки"?

Давайте по порядку.

Итак:

1. Что означает в настройках "Учитывать канонические страницы в анализе"?

- Это означает, что если будут найдены две страницы сайта с дубликатами данных, любых,

допустим дубликатами значений тегов <title> и meta description, при этом одна из страниц

указывает в качестве канонического адреса вторую страницу с помощью мета-тега

<link rel="canonical" href="other_page.html"/> то такие страницы не попадут в фильтры дублей.

Так как роботы поисковых систем не считают такие страницы дубликатами, то и мы не показываем их как проблемные.

2. Что означает "Анализировать страницы за пределами начальной папки"?

- Это означает следующее: вы можете задать начальный адрес краулинга, например https://mysite.com/folder/,

если эта опция выставлена, то будут анализироваться страницы за пределами этой папки, такие как https://mysite.ru/my_page.php

Всего: 65