Netpeak Spider - бесплатная программа для сканирования сайта

I2
На сайте с 13.03.2015
Offline
1
#81

Если строки выделены красным, это что значит?

Okaay
На сайте с 17.02.2015
Offline
65
#82

Программа актуальна?

Сайт не работает, скачать нельзя...😕

Flexpk
На сайте с 30.11.2011
Offline
60
#83

Программа не парсит, если нет robots.txt

V
На сайте с 11.12.2007
Offline
153
#84

Парни, очень круто.

Большое спасибо, программа незаменимая.

Ппару пожеланий и замечаний:

В последних версиях перестали запоминаться настройки. Например,делаешь цвет ошибочных ячеек другим, а после новой загрузки программы все то же самое.

И хотелось бы добавить какой-то обход от защиты от парсинга. А то на некоторых сайтах стоит обрезание то ли большого количества заходов, то ли кол-во заходов с одного IP. И проверить сайт не получается. А менять что-то на хостинге не всегда есть возможность.

Мой надёжный хостинг Бегет: https://goo.su/dYbhyp
Flexpk
На сайте с 30.11.2011
Offline
60
#85
vovabigov:
И хотелось бы добавить какой-то обход от защиты от парсинга. А то на некоторых сайтах стоит обрезание то ли большого количества заходов, то ли кол-во заходов с одного IP. И проверить сайт не получается. А менять что-то на хостинге не всегда есть возможность.

Попробуйте уменьшить кол-во потоков и увеличить таймаут.

W
На сайте с 13.09.2013
Offline
122
#86
vovabigov:
Парни, очень круто.
Большое спасибо, программа незаменимая.
Ппару пожеланий и замечаний:

В последних версиях перестали запоминаться настройки. Например,делаешь цвет ошибочных ячеек другим, а после новой загрузки программы все то же самое.
И хотелось бы добавить какой-то обход от защиты от парсинга. А то на некоторых сайтах стоит обрезание то ли большого количества заходов, то ли кол-во заходов с одного IP. И проверить сайт не получается. А менять что-то на хостинге не всегда есть возможность.

По идее, в программе есть парсинг через прокси, но от защит не всегда помогает.

IBakalov
На сайте с 05.10.2011
Offline
218
#87
Flexpk:
Попробуйте уменьшить кол-во потоков и увеличить таймаут.

Оно там не работает :) Сам раньше никогда не обращал внимание, но вчера как раз на фейсбуке обсуждение было.

Здравствуйте! Я являюсь руководителем Netpeak Software и одним из наших продуктов как раз является Netpeak Spider. То, что вы сейчас видите – это старая программа, которая уже давно не обновлялась и поддерживаться больше не будет. Но могу порадовать любителей SEO-кроулеров, что скоро на свет появится Netpeak Spider 2.0 c многими обновлёнными вещами. И там точно будет работать ограничение потоков и таймаут, обещаю :) В старой версии действительно не работает, подтверждаю.
Badmaestro
На сайте с 11.07.2008
Offline
244
#88

Потестил прогу. Из почти 600 страниц сайта (которые загружены Яндекс.ботом) напарсила только 300. Ну выводы сами делайте.

SEO без воды ( https://kupit-slona.ru ) Продвижение сайтов от 500 $ в мес ( https://searchengines.guru/ru/forum/1038146 ) Аренда грузинского Adsense ( при доходе от 1000$ в мес. Adsense активирован, выплаты идут. )
N4
На сайте с 19.09.2008
Offline
272
#89

Отличная прога! Спасибо создателям :)

а у тебя такой вопрос. смущает, что подсвечивает красным.

на сайте много дублей, я сделал 301 с .html на без него.

в результате вся таблица почти закрашена желтым с красным...

это нормально? или может я что-то не так сделал...

ShumiL
На сайте с 07.11.2014
Offline
49
#90
nikki4:
а у тебя такой вопрос. смущает, что подсвечивает красным.
на сайте много дублей, я сделал 301 с .html на без него.
в результате вся таблица почти закрашена желтым с красным...
это нормально? или может я что-то не так сделал...

Значит где-то на сайте остались ссылки на страницы с html, их лучше исправить, чтобы сразу вели на версию без html.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий