- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Кстати если за php паука поговорить, то в non blocked тыщ 6 сокетов нормально тянет... правда select там иногда глючит, но это отслеживается. Если по 300 сокетов расфоркать на 20 процессов, то по мегабитам прилично там ссасывает... до 400 мегабит наман сливает... смысла лить быстрее нет, т.к. надо еще и записывать это куда-то.
Делал на PIV скачку в 100 потоков через multi curl. Соотношение было такое: 20 секунд качаются данные (с учётом прокси), 10 секунд они обрабатываются. Задача была парсить выдачу Google, выдирать из выдачи ссылки и складывать в файл (не в базу же - там тормоза были бы). Никаких регекспов - через работу со строками. Вот такая вот скорость простой операции - вытащить ссылки из документа с заранее известной структурой. Так что о скорости на PHP я бы задумался. 200К страниц это сутки работы краулера. А эти данные надо ещё распарсить, обработать, положить в базу, переиндексировать, защититься от краха системы во время переиндексации и пр.
Насчет идей и концепций они будут просто вот так палить не хочется сразу, потому я и склоняюсь больше к разработке своего поисковика :)
Тогда - а что тут обсуждать?...😮
Технические аспекты? Они, в большей степени, зависят от финансов вкладываемых в проект.
Для примера - Каков объем входящего трафика и кто его будет оплачивать?;)
Соотношение было такое: 20 секунд качаются данные (с учётом прокси), 10 секунд они обрабатываются.
Лучшее, что смогли, пока, получить - 3,6 секунды на парсинг и индексацию страницы.
Но не на ПХП естественно.;)
Время скачки - в основном зависит от серевера...
Тогда - а что тут обсуждать?...😮
Технические аспекты? Они, в большей степени, зависят от финансов вкладываемых в проект.
Для примера - Каков объем входящего трафика и кто его будет оплачивать?;)
Да именно, технические аспекты, большую часть своих вопросов я разрешил благодаря ответам в этом топике. :)
Я прошу прощения, но разве трафик уже не бесплатный у большей части хостингов? 😕
Очень интересно как выглядел технически и программно Яндекс когда он только появился, где бы эту инфу нарыть? :)
Да именно, технические аспекты, большую часть своих вопросов я разрешил благодаря ответам в этом топике. :)
Я прошу прощения, но разве трафик уже не бесплатный у большей части хостингов? 😕
Если входящий превышает некоторое соотношение, то платный. Доллара 3 за Гб. Вам ещё предстоит понять, как его можно выровнять до нормалдьного соотношения, чтобы он стал бесплатным. Говорят, Яндекс для бесплатности трафика купил narod.ru :D
Очень интересно как выглядел технически и программно Яндекс когда он только появился, где бы эту инфу нарыть? :)
http://www.turtle.ru/db/architecture/
Если немного конкретизировать задачу начального варианта, то надо индексировать-переиндексировать 200000-300000 документов, не более :)
ну мы же на пехапе харвестим более 700тыс документов в сутки, индексируем, анализируем, обрабатываем, отслеживаем изменения... цена вопроса 14 часов машинного времени... когда будет 20, то мы отрефакторим на Си.
http://www.turtle.ru/db/architecture/
Спасибо большое :)
Насчет трафа придумаю что нибудь, можно файловый архивчик организовать например или тот же free хостинг.
Лучшее, что смогли, пока, получить - 3,6 секунды на парсинг и индексацию страницы.
Но не на ПХП естественно.;)
Время скачки - в основном зависит от серевера...
500 часов на 500тыс документах получается - РОВНО... цифра надуманная, IMHO
ps. В нескольких потоках на 5 серверов и уже меньше суток получается, на 500 тыс документов... хотя IMHO цифра с потолка взята.