- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Столкнулся с проблемой сканирования больших сайтов.
Скорость просто черепашья((( при чем видно что Spider сам ее занижает.
Сканируем 0,5 млн страниц, вторые сутки и только 10%
Надо проработать данный момент.
А так все нравится
Столкнулся с проблемой сканирования больших сайтов.
Скорость просто черепашья((( при чем видно что Spider сам ее занижает.
Сканируем 0,5 млн страниц, вторые сутки и только 10%
Надо проработать данный момент.
А так все нравится
Смотрите, Netpeak Spider ничего специально не занижает :) Я буквально неделю назад сканировал 250 тысяч страниц – был достаточно хороший сервер с быстрым временем ответа и все страницы просканировались за 4 часа настройками сканирования по умолчанию.
Если не секрет:
1. Киньте адрес сайта: разберёмся, что у вас там не так!
2. Киньте свою конфигурацию компьютера: нужны минимальные данные типа количества оперативной памяти (RAM) и по процессору (поколение, частота, количество ядер).
Пользователи иногда ругают Spider за такие штуки, но потом оказывается, что сервер на запрос 1 страницы отвечает 25 секунд. Вот и думайте, когда просканируются ваши 0.5 млн страниц 🙅
Смотрите, Netpeak Spider ничего специально не занижает :) Я буквально неделю назад сканировал 250 тысяч страниц – был достаточно хороший сервер с быстрым временем ответа и все страницы просканировались за 4 часа настройками сканирования по умолчанию.
Если не секрет:
1. Киньте адрес сайта: разберёмся, что у вас там не так!
2. Киньте свою конфигурацию компьютера: нужны минимальные данные типа количества оперативной памяти (RAM) и по процессору (поколение, частота, количество ядер).
Пользователи иногда ругают Spider за такие штуки, но потом оказывается, что сервер на запрос 1 страницы отвечает 25 секунд. Вот и думайте, когда просканируются ваши 0.5 млн страниц 🙅
Стоит на выделенном сервере:
Core i7-3770 3,4 ghz
32GB ОЗУ
Windows Server
Сайт в личку скинул.
Стоит на выделенном сервере:
Core i7-3770 3,4 ghz
32GB ОЗУ
Windows Server
Сайт в личку скинул.
Отлично, сейчас будем разбираться!) Жду ответа в личке ;)
Чёт не запускается новый спайдер у меня, при этом старый работает нормально. Хорошо, что я его не удалил. Хоть один рабочий остался.
Чёт не запускается новый спайдер у меня, при этом старый работает нормально. Хорошо, что я его не удалил. Хоть один рабочий остался.
Сейчас проблема с сервером аутентификации. Скоро решим!)
Спасибо за наводку ;)
---------- Добавлено 26.09.2017 в 11:33 ----------
Решили ☝
И (в следствие решения?) первый спайдер перестал запускаться?..
И (в следствие решения?) первый спайдер перестал запускаться?..
Ну что вы? Одна связка программ не касается другой связки.
Только что перепроверил – старые версии программ 1.x запускаются и работают, как мы и обещали. Вы не сможете воспользоваться ими только в двух случаях:
1. Если вы никогда ими ранее не пользовались (т.е. не были уже зарегистрированы в них, пока не вышли версии 2+).
2. Вы переустановили систему или поменяли компьютер и у вас нет доступа к тому email, на который была зарегистрирована программа (т.е. вы не сможете получить активационный ключ на почту).
В остальных случаях у вас всё должно запускаться стабильно ☝