Netpeak Spider - бесплатная программа для сканирования сайта

Игорь Скляр
На сайте с 17.03.2008
Offline
99
#91

Проверял на работе большой сайт - проверка выполнилась лишь на 30%, кроме того сам проверяемый сайт перестал открываться на этом компьютере.

Проверил дома сайт на 2к старниц - такая же фигня, проверка дошла не до конца, сайт перестал открываться на компьютере, с которого софт был запущен.

Вобщем как то не круто получилось. Как исправить то теперь это дело?

Sterh
На сайте с 15.06.2006
Offline
226
#92
Игорь Скляр:
Проверял на работе большой сайт - проверка выполнилась лишь на 30%, кроме того сам проверяемый сайт перестал открываться на этом компьютере.
Проверил дома сайт на 2к старниц - такая же фигня, проверка дошла не до конца, сайт перестал открываться на компьютере, с которого софт был запущен.
Вобщем как то не круто получилось. Как исправить то теперь это дело?

Скорее всего Вы получили бан по IP от хостера. Что бы такого не повторялось нужно сокращать количество потоков сканирования или увеличивать паузу между запросами.

Ну и прога уж давно не поддерживается.

Могу предложить аналоги:

Бесплатно: https://www.page-weight.ru/soft/page-weight-lite-free/ (работает в один поток, 2К страниц будет тянуть долго)

Платно, но с множеством настроек, в том числе и возможностью управлять потоками и паузой: https://www.page-weight.ru/soft/page-weight/pw-desktop/

Программа для настройки внутренней перелинковки сайта: купить (http://www.page-weight.ru/) Проверка внешних ссылок на сайт (https://backlink.page-weight.ru) (когда Ахрефс дорого) Возьму на продвижение пару магазинов, & SEO консультации (/ru/forum/987866) для сложных случаев.
ХА
На сайте с 26.12.2005
Offline
118
#93
Sterh:

Могу предложить аналоги:

еще модуль Сайт Анализатор в продукте Семонитор...

KM
На сайте с 21.03.2016
Offline
0
#94

Ребята, кто-нить сталкивался с тем что сканирование останавливается на первой же странице? При чем те же сайты коллегу попросил просканить и у него все ок. Таких сайтов попалось всего 2, а в остальном все отлично было

[Удален]
#95
Konstantin Mon:
Ребята, кто-нить сталкивался с тем что сканирование останавливается на первой же странице? При чем те же сайты коллегу попросил просканить и у него все ок. Таких сайтов попалось всего 2, а в остальном все отлично было

Сталкивался. Обычно в таких случаях открываю ScreamingFrog или Comparser и прогоняю через них) Хотя, наверняка решение проблемы под носом где-то.

T
На сайте с 09.09.2014
Offline
24
#96
Konstantin Mon:
Ребята, кто-нить сталкивался с тем что сканирование останавливается на первой же странице? При чем те же сайты коллегу попросил просканить и у него все ок. Таких сайтов попалось всего 2, а в остальном все отлично было

Посмотри в настройках

там где robots.txt поставь сканировать disallow, возможно из-за этого

Создание и продвижение сайтов - <>
A
На сайте с 11.03.2009
Offline
58
#97

Здравствуйте!

Стал сканировать сайт, который на хостинге Спринтхост.

Получил бан IP. поддержка написала:

IP-адрес был заблокирован на стороне сервера в связи с обнаружением подозрительной активности - обращению к сайту с поддельным useragent'ом. Для избежания блокировки такого типа настройте программы, которые Вы используете для тестирования сайта, на использование корректных значений агента.

Я спросил, какого юзерагента надо писать, они ответили:

Касательно UserAgent мы дать рекомендаций не можем, так как сами не используем подоюное программное обеспечение. Мы контролируем только те случае, когда нам удается зафиксировать некоректно настороенного робота. Уточнить необходимую Вам информацию мы рекомендуем на официальном сервисе Вашего программного обеспечения, либо на соответсвующих информационных ресурсах.

Никто не подскажет, что в настройках выставить, чтобы не банило?

Не менять же хостера теперь из-за этого...

W
На сайте с 13.09.2013
Offline
122
#98
alvarvas:

Никто не подскажет, что в настройках выставить, чтобы не банило?
Не менять же хостера теперь из-за этого...

Попробуйте что-то такое прописать:

Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/49.0.2623.112 Safari/537.36
A
На сайте с 11.03.2009
Offline
58
#99

Wiiseacre, спасибо, вроде пошлО

C7
На сайте с 25.09.2014
Offline
13
#100

С конца августа 2016 года программа станет платной. Разработчики провели апгрейд, выпустили еще одну программу и лаунчер для управления обеими программами. Старым пользователям выдается 60-дневный триал, а дальше платить. Spider стоит 160$ (со скидкой) на 12 месяцев. Старые версии программы будут блокировать с какого-то августа. Ребята продались конечно... И цены очень слишком задрали на нее. Будем надеяться, что вскоре выпустят кряк.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий