- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Доброе время суток.
Меня очень интересует создание поискового Интернет паука, в первую очередь мня интересует реальность написания на php программы такого рода. Людям знающим прошу уткнуть в нужные мануалы. Спасибо за помощь в начинаниях
А google.com и yandex.ru не пробовали ?
Galliano, устное (пока) предупреждение.
Programist, могу порекомендовать хорошую книгу для создания роботов, но на perl.
На php обычно спайдеры не пишутся.
я делал поисковик на php для одного сайта , работает не плохо правдо требует curl модуль для пхп
У нас спайдер на РНР написан,
вначале на перле делали, работал он быстрее чем на РНР, но при этом памяти больше жрал, поэтому в итоге переписали все на РНР.
Мануалов нема, или ищи исходники opensource проектов и разбирай их, или учи функции работы с сокетами и курлом в РНР, там ничего сложного нет при условии что знаешь стандарты.
ну а теорию создания СЕ помоему на этом форуме когда то публиковали, посмотри архивы.
Мне кажется, что php не совсем подходит для подобный задач. Конечно все зависит от планируемого количество индексированных документов.
Наверняка, на сях получится лучше... и по памяти, и по быстродействию... несмотря на то, что либы придется доставлять, чтоб чувствовать себя так же свободно, как в PHP.
На перле не пробовала. Но php хуже уже тем, что в нем довольно много скрыто от самого кодера... Да и не уверена, что он до конца избавлен от утечек памяти...
Я пытаюсь написать, пока простого поискового робота на С++ с использованием библиотек MFC работы с Интернет, по такой примитивной схеме:
Вход
|
|
|------->База данных<------------|
| | (выбор Url's) |
| | |
| _> Кэш---------------- |
добавление | |
- - (извлечение ссылок, каждая в новом потоке)
Хотелось бы узнать Ваше мнение об этой схеме. Жизнеспособен ли будет такой робот?
Сам Google допустим своих роботов на Python запрограмил. Сам пишу роботов на Perl, исправно работают. Насчет того, что памяти много кушают, ну это как написать.
интересная тема
на пхп вполне реально можно достаточно жного, 50к документов в сутки в принципе без особых проблем на виртуале, был опыт :)
ЗЫ: а какую бд планируете использовать? mysql ведь не серьезно :)
интересная тема
на пхп вполне реально можно достаточно жного, 50к документов в сутки в принципе без особых проблем на виртуале, был опыт :)
ЗЫ: а какую бд планируете использовать? mysql ведь не серьезно :)
1) 50 К в сутки это не серьезно :)
2) MySQL вполне достаточно для малых и средних проектов. Имеется опыт. Все работает прекрасно.