Wise.od

Wise.od
Рейтинг
101
Регистрация
20.10.2006
Должность
CEO & Founder of Netpeak Software
St.One:
Стоит на выделенном сервере:
Core i7-3770 3,4 ghz
32GB ОЗУ
Windows Server

Сайт в личку скинул.

Отлично, сейчас будем разбираться!) Жду ответа в личке ;)

St.One:
Столкнулся с проблемой сканирования больших сайтов.
Скорость просто черепашья((( при чем видно что Spider сам ее занижает.

Сканируем 0,5 млн страниц, вторые сутки и только 10%
Надо проработать данный момент.

А так все нравится

Смотрите, Netpeak Spider ничего специально не занижает :) Я буквально неделю назад сканировал 250 тысяч страниц – был достаточно хороший сервер с быстрым временем ответа и все страницы просканировались за 4 часа настройками сканирования по умолчанию.

Если не секрет:

1. Киньте адрес сайта: разберёмся, что у вас там не так!

2. Киньте свою конфигурацию компьютера: нужны минимальные данные типа количества оперативной памяти (RAM) и по процессору (поколение, частота, количество ядер).

Пользователи иногда ругают Spider за такие штуки, но потом оказывается, что сервер на запрос 1 страницы отвечает 25 секунд. Вот и думайте, когда просканируются ваши 0.5 млн страниц 🙅

igorbell:

По Яндекс - вроде как все.

А как вы проверяете количество страниц в индексе Яндекса? Надеюсь, через вебмастерку? Ибо операторы в поиске не работают исправно.

igorbell:
Сайт на поддомене arenda.sirenabus.com, в индексе Яндекса - 3 000 страниц, в индексе Гугла - 1 000 страниц. Спайдеры аля Нетпик спайдера или Скриминг Фрога видят только около 70 страниц, в чем может быть проблема??

Привет!)

Сделайте запрос в Google "site:arenda.sirenabus.com" – вы увидите около 1000 страниц, однако попробуйте пролистать хотя бы до 10 страницы выдачи (то есть до 100-го результата) – у меня не выходит это сделать. Такая ситуация ещё раз напоминает нам, что на первой странице выдачи Google нам говорит о примерном количестве страниц, которое есть в их индексе.

В Netpeak Spider есть функция сканирования сайта из выдачи Google – аналогично, там находится максимум 55 результатов.

Советую попробовать узнать у разработчиков сайта, какие ещё страницы были предусмотрены, потому что во внутренней структуре их просто нет, они не перелинкованы с доступными страницами сайта.

usdmillionaire:
Здравствуйте, уважаемый Wise.od. Я тут попробовал заценить ваше произведение, вместо лягухи, ну, мне всё понравилось, софт хороший делаете. Я впервые зашёл за много лет на сёрч, чтобы откомментить. Вы говорите про сеобомжей, но это неотъемлемая часть нашей ментальности, русский народ любит халяву и к этой любви располагает издревна рунета много факторов и особенностей, так что примите как данность, это нормально, и не раскидывайтесь определением, это не в пользу вашей репутации бренда, Вы должны быть максимально сдержаны в выражениях в обществе, т.к Вас читает заинтересованная аудитория и даже если вы правы в своих резких выражениях, всё равно это отворачивает от вас целевую аудиторию. Как пример, я как-то застал спор двух крупных сервисов по аналитике , сбору семантики и позиций. С одной стороны человек был максимально сдержан, с другой за словом в карман не лез, не обзывался, но транслировал примерно тот же настрой и посыл. В итоге немало спецов до сих пор стебутся, а второе выбирают не в их в пользу, т.к репутация неприятная сложилась ,и этот кластер монет отпал если не навсегда. то до революционного прорыва в сервисе, которым смогут заманить.

По поводу психологической составляющей покупки. Я бы купил, и заму своему тоже купил её, но в seo народ независимый как правило и это же даёт отпечаток на психологию покупки. Иначе говоря, я могу себе позволить купить много лицензий на год, очень много, но мне не нравится тот факт , что я зависим каждый год получается, именно факт зависимости мне неприятен и не даёт спокойно отвалить сколько нужно. Пусть она хоть 300 баксов стоить будет, но с вечной лицензией, я бы купил. Думаю это ещё, отчасти, зависит и от того, что все, абсолютно все привыкли к кейколлектору и его политике, изначально это первая и основная программа, которая появляется у каждого будущего сео-спеца. Они заняли выигрышную политику по части вечной лицензии и живут же как-то люди, не бедствуют. В общем, не мне Вам советовать что-то, Вам видней, но возможно рассмотрите всерьёз покупку вечной лицензии и думаю, что за счёт потока текущих и будущих покупателей Вы точно не разоритесь.
с уважением

Спасибо за приятный отзыв и за то, что в принципе написали и не поленились описать свою точку зрения.

Мы в будущем будем рассматривать альтернативные варианты тарификации. Не факт, что это будет именно вечная лицензия, но кое-какие наработки в этом направлении уже есть и ждут своего внедрения.

Признаюсь, мне интересно перенимать опыт мировых лидеров и равняться по полезности и удобству продуктов, а также качеству предоставления поддержки всё-таки на самые крутые сервисы в SEO-нише. Я хочу построить по-настоящему эффективную международную продуктовую компанию и у нас уже очень многое получается, несмотря на то, что нам даже 1 года нет. Потому ваш пример про KeyCollector актуален для рынка СНГ, но не для мирового уровня.

Я уже объяснял выше, почему предлагать ежегодную оплату сервиса намного выгоднее для конечного пользователя (то есть SEO-специалиста) – поверьте, никто с нашей стороны не думает о заработке, не предлагая ничего взамен, потому мы за эту ежегодную плату предлагаем качественную поддержку пользователей, постоянные апдейты и оптимизацию программы, выходы на новые платформы: короче говоря, постоянное развитие. Я не хочу пообещать вам, что мы будем заниматься вами, а сам искать новых и новых клиентов и забыть подчистую о вас, потому что вы заплатили 1 раз 10 лет назад. Это очень просто, логично и достаточно справедливо.

В итоге ваш отзыв очень сильно корректирует наше видение, потому, в любом случае, благодарю за него. В некоторых же ситуациях мы всё-таки постараемся делать как изначально задумали и как считаем, что будет правильно: как для нас, так и для специалистов, которые пользуются нашими программами.

St.One:
При сканировании сайтов с кол-ом страниц свыше 20к программа зависает и вылетает, с чем может быть это связано?

Привет! Это может быть связано с рядом причин – зачёркивайте, если не подходит, и сообщите, если ни одна не подошла:

1. Вы используете версию Netpeak Spider ниже, чем 2.0. Попробуйте скачать самую новую версию, зарегистрировавшись на офицальном сайте программы.

2. У вас слишком слабый компьютер, не соответствующий минимальным системным требованиям: Windows XP SP3, 1 Гб памяти на жёстком диске, 1 Гб оперативной памяти. Попробуйте проапгрейдить компьютер или запустить программу на другом компьютере и убедиться, что со сканированием этого сайта такие же проблемы.

3. На сайте слишком много исходящих ссылок со страниц – это очень сильно замедляет сканирование, так как тратится очень много времени на создание очереди на пробивку (сопоставление URL-ов, которые уже пробились и которые ещё нужно пробить). Просто взгляните на соответствующую колонку в отчёте Netpeak Spider и поймёте ответ: если ссылок много, то желательно уменьшить их количество для лучшей индексации.

4. На сайте слишком много информации в тех параметрах, которые вы выставили в настройках сканирования. Грубо говоря, в тегах Title по 1000 слов и т.д. Так как вся эта информация хранится в оперативной памяти, то может начать тормозить при перегрузке данными. Попробуйте сбалансировать количество информации в нужных тегах по всему сайту, не перегружая их лишними текстами.

5. Если выбивает после определённого момента (например, ровно 20к страниц), то, возможно, программа находит какой-то участок кода, который не знает как обрабатывать, и потому вылетает. То есть изначальная причина не в количестве страниц, а в каком-то определённом участке, который в данный момент не получается просканировать. Если описание подходит, то нужны дополнительные данные от вас, которые вы можете предоставить на почту нашей службы техподдержки support@netpeaksoftware.com

Грубо говоря, Netpeak Spider – достаточно гибкая программа, которая позволяет осилить сканирование миллиона+ страниц, потому 20к страниц – не должно быть особой проблемы. Значит есть чёткие причины, почему зависает сканирование. Давайте разбираться!)

Umi:
спасибо, что это было не поняла, но сохранила проект, перегрузила программу и экспорт получился со всеми строчками.

Я догадываюсь, что это могло быть: обратите внимание, что на кнопке экспорта написано "Экспорт текущей таблицы", то есть когда программа обнаружила какие-то ошибки и вы на них нажали в панели справа, то применился фильтр и Netpeak Spider при нахождении на вкладке "Фильтры" экспортирует данные только из неё.

А когда вы перезагрузили проект, возможно, просто попали на главную вкдадку, где приведены все результаты.

Могло такое быть?

Umi:
скачала пробную версию - экспорт текущей таблицы идет только 103 строк, хотя их больше 4000 - урезанный экспорт потому что версия пробная или по какой-то другой причине?

Никаких ограничений в пробной версии нового Netpeak Spider 2+ нет. Пожалуйста, обратитесь к нам на почту support@netpeaksoftware.com и иы совместно решим проблему: возможно, вы нашли редкий баг :)

---------- Добавлено 01.02.2017 в 20:30 ----------

Chained:
Интересно, это баг или фишка?

Ни то, ни другое :)

Это просто не до конца доработанная админ-панель клиента. Не можем всё сделать сразу, потому оставили это на ближайший релиз.

St.One:
Как могу отказаться от автоматического продления оплаты подписки, не хотел продлевать подписку а она автоматом продлилась, согласия на такое не давал, в личном кабинете не увидел надстройки данной.

Напишите, пожалуйста, в службу поддержки - support@netpeaksoftware.com - там вам помогут.

Согласие вы давали на этапе покупки - там стоит галочка. В данный момент действительно никак нельзя самостоятельно отключить автопродление, однако мы очень скоро выпускаем крупный апдейт сайта, где это будет учтено.

---------- Добавлено 31.01.2017 в 22:45 ----------

Владимир-C:
В начале темы написано, что это бесплатная программа. А после установки выделено 14 дней для пробы.

То есть, теперь прога стала платной?

Да, Владимир, программа была переписана с нуля и новая версия стала платной. Если вы пользовались старой версией, то можете продолжать ей пользоваться бесплатно. Однако всем новым пользователям мы предлагаем бесплатный 14-дневный триал, за который, я уверен, можно успеть ознакомиться с основными возможностями программы.

Насчёт названия топика: скоро мы его платно поменяем, хотя не обязаны этого делать. Дайте нам немного времени :)

Buymorebuy:
Спасибо за совет. Начал искать и наткнулся на плагин "Remove Image Links" который просто убирает все ссылки с изображений, мне это вполне подошло и ошибка с висячими узлами пропала.
Отличный у вас софт!

Отлично, спасибо за приятные слова! :)

Кстати, один из наших пользователей нашёл другой плагин на Wordpress «Photo Gallery», в котором есть настройка «Включить атрибут HREF: Да / Нет». Вроде как тоже работает!

S.E.R.:
Netpeak удобен и достаточно шустр. Действительно возникает положительные эмоциии от использования и помогает в работе.
И всё-таки наверно он уже достиг уровня, когда за него можно платить (в отличии от того, что было в начале).

Сперва был негатив к компании по поводу закрытии бесплатной версии и принудительного перехода. Но так как бесплатную версию они оставили в свободном доступе и пользование ей не запретили, то не вижу в этом шаге ничего плохого.

Поэтому всё же решил прикупиться :)
В общем-то цены кусаются (так как есть куда более дешёвая связка PageWeight + Comparser), да ещё и подписка. Но продуктом действительно хочется пользоваться.
По случаю Чёрной пятницы сегодня можно купить годовую лицензию примерно за 3800. Что в целом терпимо )

Спасибо за приятный отзыв!) Уверяю вас, что в будущем полезных и удобных функций будет ещё больше: у нас есть план по разработке на ближайший год :) Однако никто не говорит, что вы не можете повлиять на этот план – обязательно пишите, что вам нужно!

Фома:
Ага, тоже раньше гнал волну, публично приношу извинения. Скачал бесплатную, поставил, восстановил ключ на почту, всё работает.

Как нам не обидно, но всё равно спасибо, что хоть старую используете. Я сам использовал старую до того, как мы сделали новую и на старую теперь смотреть не могу: уж слишком она неоптимизированная и не дающая возможность быстро решать множество проблем.

Будем новыми релизами убеждать вас перейти на новую версию ;)

kruk1:
Прикупил лицензию по случаю чёрной пятницы, давно присматривался... Отличная программа, очень наглядная, ещё и вес теперь рассчитывает. Чтобы окончательно отказаться от page-weight, лично мне нужно создание XML карт сайтов, было бы круто.

Ещё у меня не получается если внёс какие то правки, отправить на пересканирование только урлы с ошибками. Не очень удобно после исправления нескольких ошибок пересканировать весь огромный сайт, чтобы посмотреть всё ли нормально.

Хотелось бы также видеть возможность настраивать самому оповещения об ошибках. Вот есть мнение, что 70 символов в тайтле максимум, а я условно считаю, что и 100 нормально. Или время ответа сервера считается длинным больше 0,5 секунды, а на тяжелых сайтах и секунда нормально. Настроить такое под себя, под конкретный сайт, было бы удобно.

Спасибо за приятный отзыв!)

1. Генерацию Sitemap мы уже реализовали и опубликовали подробный обзор новой функции (вы уже даже, может быть, видели этот обзор).

2. Насчёт пересканирования URL – согласен, очень полезная функция. И она скоро будет реализована, так как уже достаточно давно висит в планах. Я сам её очень жду!)

3. Насчёт кастомизации определения ошибок – аналогично, это всё есть в планах, так как вы сами правильно сказали, что для каждого сайта или для каждого специалиста, существуют свои рамки. Пока мы реализовали встроенные строгие значения, но относительно скоро дадим возможность их менять – это будет реализовано в версии Netpeak Spider 2.2.0, которая будет выпущена не ранее марта 2017 года.

И, вообще, спасибо, что написали предложения!) Делайте это ещё и даже лично нам пишите.

paladi:
Интересует такой вопрос: нужно сканировать сайт который еще под
паролем "Basic Authentication", то есть до старта, планируется ли в введение такого ф-ционала, или он есть но я его не заметил?
S.E.R.:
Кстати, плюсую. Тоже есть такая потребность.
Сейчас решаю проблему, тем что временно убираю пароль. Но это не самый удобный вариант.

Спасибо за хороший вопрос! Такой функции в Netpeak Spider пока что нет, однако её разработка запланирована и выйдет вместе с релизом 2.2.0 (как уже выше написал, не ранее марта 2017 года – разумеется, постараемся сделать скорее).

Всего: 101