- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Какими способами парсятся поисковики ?
Сколько времени займет отпарсить любой поисковик для 100 страниц ?
Как работают поисовики типа Quanita ?
Сразу говорю, что я не собираюсь делать новый поисковик, но мне это очень нужно знать.
Программист написал скрипт, где 1 запрос паристся по 3-5 минут, хотя парсится только первая страница выдачи ! Это нормально ? :eek:
x102 добавил 14.05.2008 в 20:19
Про это никто не знает штоли ?
Смотря что значит "парсится" для вас.
Если просто скажем отправить запрос гуглу и собрать 100 урлов сайтов из ТОП 100 по этому запросу - то тут дольше гугл отвечать будет чем регексп по результату пробежится :)
А вот если еще какой-то анализ дополнительный нужен (например, для каждого еще и ПР, ТИЦ узнать) - то тут вся задержка и будет.
Вобще-то скорость обработки результатов (строк, грубо говоря) в 99% случаев ничтожна по сравнению со временем формирования и получения этих результатов через сеть. А 100 Мегов результата ПС не отдадут ;)
Конечно, программист может посимвольно что-то сравнивать... 😆
x102, все зависит от данных, которые Вы желаете получить и техники :) как технической так и умственной ее части :)