Netpeak Spider - бесплатная программа для сканирования сайта

V@der
На сайте с 22.11.2007
Offline
96
106347

Всем привет.

Представляю вашему вниманию бесплатную программу для сканирования и анализа сайта - Netpeak Spider. В программе имеются уникальные возможности расчёта внутреннего PageRank и PageRank без учёта сквозных ссылок, экспорта полученных результатов в Excel и анализа входящих и исходящих внутренних ссылок для каждой страницы сайта.

Полный список анализируемых параметров:

  • URL – адрес страницы.
  • Глубина – уровень расположения страницы относительно главной.
  • LinkCanonical – определяется наличие атрибута rel="canonical" и на какой адрес он указывает.
  • Ответ – код состояния HTTP в ответе сервера (200 OK, 301 Moved Permanently, 302 Moved Temporarily, 404 Not Found, 503 Service Unavailable и т.д.).
  • Title – тег "title", расположенный в контейнере "head", который определяет заголовок документа.
  • Description – содержание мета-тега, отвечающего за краткое описание содержимого веб-страницы.
  • Keywords – содержание мета-тега, отвечающего за ключевые слова, встречаемые на веб-странице.
  • robots.txt – определяется, разрешена (allowed) или запрещена (disallowed) индексация страницы поисковыми системами в файле robots.txt.
  • MetaRobots – определяется наличие мета-тега "robots", а также разрешена (index) или запрещена (noindex) индексация страницы поисковыми системами и разрешён (follow) или запрещён (nofollow) переход по ссылкам на данной странице с его помощью.
  • Редиректы – количество перенаправлений со страницы.
  • Заголовки (H1) – количество заголовков первого уровня.
  • Ссылки с этой страницы – количество исходящих ссылок с данной страницы в пределах всего сайта.
  • Ссылки на эту страницу – количество входящих ссылок на данную страницу в пределах всего сайта.
  • Внутренние ссылки – количество ссылок с данной страницы на сканируемый сайт.
  • Внешние ссылки – количество ссылок с данной страницы на другие сайты.
  • PR – расчёт внутреннего показателя PageRank текущей страницы.
  • PR (без сквозных ссылок) – расчёт внутреннего показателя PageRank без учёта сквозных ссылок, которые встречаются более чем на 50% страниц сканируемого сайта.
  • Дубли по Title – определяются группы страниц с дублирующимся тегом "title".
  • Дубли по Description – определяются группы страниц с дублирующимся мета-тегом "description".
  • Дубли по Keywords – определяются группы страниц с дублирующимся мета-тегом "keywords".

Скачать программу можно по этой ссылке.

Результаты проверки бинарника на сайте Virustotal.com

donilstr
На сайте с 01.01.2009
Offline
46
#1

Было бы замечательно, если бы добавили возможность создания проектов для сканирования.

Просто попадаются огромные сайты типа интернет-магазинов, которые надо просканить на наличие ошибок, но вот сканить их по 5 - 7 часов не всегда есть возможность.

А так, создал проект - просканил одну половину сайта сегодня, продолжил сканить завтра. Смысл думаю понятен.

Выделенные серверы и VPS по самым низким ценам. От 10$ в месяц! (http://cp.inferno.name/view.php?product=240&gid=1)
sanitarn
На сайте с 20.08.2007
Offline
199
#2

Отличный сканер, нужно на большом обьеме проверить.

финансовый ответ (https://finansanswer.ru) Займ для безработных (https://finansanswer.ru/mikrozajmy/bezrabotnym/)
Detektiv
На сайте с 28.02.2008
Offline
117
#3

Молодцы, фактически сделали бесплатный аналог Screaming Frog. Вот что хотелось бы добавить - сделать стоп список разделов, например на моём сайте я не хочу анализировать языковые версии которые находятся в папках /jp/ /pl/ и т.д. или их уже в текущей версии возможно добавить в исключения?

P.S. и бонусом была бы проверка наличия ссылок в индексе гугла и яндекса и если нет - то оптовое добавление через аддурилку с поддержкой сервисов разбора каптч.

S.k.i.f.f
На сайте с 17.06.2009
Offline
43
#4

Отличная программа, которая очень сильно помогает в работе. Самый удобный сканер сайта!

M
На сайте с 27.02.2009
Offline
34
#5

Проверял на 5к страницах, все шикарно.

M
На сайте с 05.03.2006
Offline
80
#6

У меня если больше 30-40 тыс. страниц, жрет RAM немерено :(

Почти 6 GB от 8

Компьютер постоянно зависает.

У всех так?

FollowLocation
На сайте с 19.07.2013
Offline
12
#7

V@der, отличная программа. Хотелось бы видеть в ней очередь проектов. Очень часто нужно проверять большое количество сайтов.

VladimirX
На сайте с 25.07.2013
Offline
34
#8

Спасибо за программу. Опробовал. Хорошо работает.

Вместе с тем, хотелось бы пояснения, как рассчитывается PR на внутренних страницах. И что за значения PR программа выдает?

Недвижимость (https://realt.abrikos.us) в США Насосы (https://nasosov.by) в Беларуси
NT
На сайте с 06.08.2011
Offline
71
#9
FollowLocation:
V@der, отличная программа. Хотелось бы видеть в ней очередь проектов. Очень часто нужно проверять большое количество сайтов.

да, есть такое. памяти жрет много при большом количестве страниц.

shabash
На сайте с 02.05.2008
Offline
97
#10

Хорошая программа, спасибо

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий