Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 14.06.2018, 04:03   #11
burunduk
Super Moderator
 
Аватар для burunduk
 
Регистрация: 09.01.2007
Сообщений: 17,698
Репутация: 2308311

По умолчанию Re: RiveSolutions SEO Spider

сколько потоков поддерживает парсер?
возможно ли настроить время ожидания ответа?
поддерживаются ли пакеты прокси?
есть ли поиск по фрагментам кода?
какой объём занимает в оперативке сайт с 1000к+ документами?

P.S. и да без русского языка она на фиг всё не нужно
__________________
По многочисленным просьбам шаблон для сайта оптимизированный для продвижения
правильный конструктор сайтов
burunduk вне форума   Ответить с цитированием

Реклама
Старый 14.06.2018, 09:29   #12
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

iskrakovrov, нет, Вы ошиблись.
Мы никогда не собирали деньги на разработку.
Все из своего кармана.

---------- Добавлено 14.06.2018 в 09:31 ----------

iskrakovrov, по поводу ошибки установки: да, известная на сей день проблема.
В данном случае можно просто нажать кнопку пропустить. Ошибка вызвана тем, что при установке программы, надо также установить и соответствующие редистрибутивы, которые у Вас уже установлены. Вот и вываливается эта ошибка.
Пропуск в данном случае ни на что не влияет. Работаем сейчас и над этим.
AndrAscii вне форума   Ответить с цитированием
Старый 14.06.2018, 09:49   #13
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

burunduk,

1. сколько потоков поддерживает парсер?
- сейчас количество потоков регулируется автоматически, а именно, берется количество ядер Вашего процессора и на каждое логическое ядро создается отдельный поток. Пока что, мы считаем это оптимальным, ибо увеличение потоков может привести к зависанию всей системы, если переборщить конечно.

2. возможно ли настроить время ожидания ответа?
- что Вы имеете ввиду? Если ограничить таймаут - будет доступно это. Сейчас есть только заглушка на странице настроек Settings => Limits Settings (см. скриншот). Все никак до этого руки не доходили.

3. поддерживаются ли пакеты прокси?
- есть возможность задать соединение через прокси на странице настроек Settings => Proxy Settings.

4. есть ли поиск по фрагментам кода?
- именно по кускам HTML кода? Нет, нету. Нужно ли это? Может достаточно будет только поиска по XPath?

5. какой объём занимает в оперативке сайт с 1000к+ документами?
- честно говоря, не проверяли.
Изображения
   
AndrAscii вне форума   Ответить с цитированием
Старый 14.06.2018, 09:50   #14
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

burunduk, и на счет русского языка, да, Вы уже не первый, кто ткнул нас носом в это. Сделаем.
https://trello.com/c/NjOhwAnA/89-tra...ssian-language
AndrAscii вне форума   Ответить с цитированием
Старый 14.06.2018, 10:58   #15
sslab
Кандидат наук
 
Регистрация: 25.11.2008
Сообщений: 477
Репутация: 21569
Отправить сообщение для sslab с помощью Skype™

По умолчанию Re: RiveSolutions SEO Spider

Оффтоп, но интересно стало. А на чем ведете разработку? Какой стек технологий используете?
__________________
Покупка и чистка ссылок в Sape по вашим фильтрам
Программа учета сайтов: сбор характеристик, напоминания по датам для домена и др.
Технический анализ сайта
sslab вне форума   Ответить с цитированием
Старый 14.06.2018, 11:32   #16
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

Цитата:
Сообщение от sslab Посмотреть сообщение
Оффтоп, но интересно стало. А на чем ведете разработку? Какой стек технологий используете?
Язык программирования - С++
Для GUI и для работы с сетью - фреймворк Qt.
Для тестирования - фреймворк google test
Для парсинга html - сначала использовали гугловскую библиотеку gumbo, но она оказалась слишком тормознутой, переехали на myhtml (http://lexborisov.github.io/benchmark-html-persers/)
Ну и для работы с Excel используем расширение для Qt - QtXlsxWriter (https://github.com/dbzhang800/QtXlsxWriter)
Также и не обошлось без WinAPI - это причина, по которой мы не можем сразу сделать сборки для Mac OS. Но позже будут и они.
AndrAscii вне форума   Ответить с цитированием
Старый 14.06.2018, 11:53   #17
vold57
Академик
 
Регистрация: 01.10.2007
Адрес: Германия, Карлсруе
Сообщений: 1,599
Репутация: 326804

По умолчанию Re: RiveSolutions SEO Spider

AndrAscii, сколько будет стоить программа?
vold57 вне форума   Ответить с цитированием
Сказали спасибо:
Старый 14.06.2018, 12:18   #18
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

Цитата:
Сообщение от vold57 Посмотреть сообщение
AndrAscii, сколько будет стоить программа?
По крайней мере в самом начале:

Для стран СНГ - 60$, что примерно 3700 рублей за подписку в год.
Для стран Запада - 100$ за подписку в год.

На данный момент можно сделать предзаказ на 2 года вперед за 100$.
Но я Вам настоятельно рекомендую для начала попользоваться программой какое-то время, чтобы убедиться, что то, что мы предлагаем, Вам действительно подходит.
Мы, в свою очередь постараемся сделать Все, чтобы она Вам подошла. =)

В целом, мы готовы выслушать Ваши предложения по улучшению.
AndrAscii вне форума   Ответить с цитированием
Старый 14.06.2018, 12:53   #19
SmileP
It will never be the same
 
Аватар для SmileP
 
Регистрация: 18.02.2010
Сообщений: 3,861
Репутация: 212324

По умолчанию Re: RiveSolutions SEO Spider

Цитата:
Сообщение от AndrAscii Посмотреть сообщение
6. Временная переадресация 302 (Moved Temporarily 302) - ссылки с 302 кодом.
7. Перманентные переадресации 301 (Moved Permanently 301)
Цели редиректов обрабатываются?
SmileP вне форума   Ответить с цитированием
Старый 14.06.2018, 13:02   #20
AndrAscii
Дипломник
 
Регистрация: 22.05.2018
Адрес: Москва
Сообщений: 62
Репутация: 6394
Социальные сети Профиль в ВКонтакте

ТопикСтартер Re: RiveSolutions SEO Spider

Цитата:
Сообщение от SmileP Посмотреть сообщение
Цели редиректов обрабатываются?
Можно чуть-чуть подробнее? Не совсем понял, что значит обрабатываются?

---------- Добавлено 14.06.2018 в 13:04 ----------

SmileP, желательно еще пример идеальной обработки
AndrAscii вне форума   Ответить с цитированием
Ответ




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 04:42. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны