Дориков решил поделать

Кстати вопрос тсу, а что будет если к твоему апачу будет подключаться по 10 в секунду ооочень мееедленных скажем эстонских клиентов, которые будут считывать из сокета по 1 байту скажем в минуту? Будут задержки?

Универсальный парсер - нетривиальная задача. Сделать парсер, который спарсит откуда угодно контент и он будет без мусора - это из области data mining и надо исследовать этот вопрос. Есть некоторые алгоритмы, но на их реализацию пока нет ресурсов.

Браузеры не адаптировал.

Пишу на .net - это винда.

Времени, или чего-то ещё?

Такая задача: необходимо создать постоянно обновляющийся индекс поисковых подсказок Гугла (которые выпадают при наборе запроса), при этом 1) максимально обезопасить себя от бана подсетей ip (как через поддержку авторизации, куков и прочего флеша, так и через поддержку поисковой истории и серфинга по выдаче и сайтам) и 2) обеспечить минимальную ресурсоемкость решения.

Возьмётесь за реализацию?

P.S. Вопрос ко всем читателям.

Времени. Но если оно оплачивается - найти можно :)

Совсем не понял про обезопасить в скобках, но взяться готов. ресурсов потреблять будет минимум. Стучите в скайп - mikhail.musin

понимаю обоих. и ТСа и респонса. каждый старается донести свою точку зрения.

почему ТС прав? потому что судя по его конфигурации, по бенчмаркам и по входящему трафику время ожидания ничтожно мало, ожидания не видно.

почему прав респ? потому что хоть время ожидания ресурса и мало, но он есть. если ТС пишет под дотнет, то видимо мульён раз писал секции кода вида:

lock(_syncRoot) //<-вот тут возникнет задержка, выстраивается очередь потоков. все они хотят пролезть в критическую секцию

{

..

}

аналогичный код есть и в апаче и любом многопоточном софте. увидеть задержки и даже таймауты, отказ в обслуживании можно изменив конфигурацию сервера или объем трафика.

ребята, давайте жить дружно. все будет хорошо. все уже. путина ж выбрали )

Lifemaster:
Кстати вопрос тсу, а что будет если к твоему апачу будет подключаться по 10 в секунду ооочень мееедленных скажем эстонских клиентов, которые будут считывать из сокета по 1 байту скажем в минуту? Будут задержки?

Видишь ли, я не теоретик, а практик. Всем теоретикам - в другой топик.

mmsextor, дай-ка айпи адреса своих серверов, станешь практиком 😂

Ты не поверишь, но в моем конвеере, где очень много кода, нет ни одной такой секции :-) Вообще ни одной. Как думаешь, почему?

Понятное дело, что ожидание всегда есть )) Кто это отрицает? Просто у кого-то в этом топике теоретический интерес к этому делу, и по этому на конкретные вопросы они не знают ответы, а у меня сугубо практический. Ожидания таковы, что для пользователя не критичны. И не будут критичны на перспективу в том числе.

---------- Добавлено 15.03.2012 в 22:20 ----------

Тебе зачем? 😂

очень много кода - но все в 1 поток как вариант. либо нет общих ресурсов между потоками.

---------- Добавлено 15.03.2012 в 23:26 ----------

вишь респ, с ТСом надо помягче и он согласится что ожидание все-таки есть ))

давайте миритесь уже!

Я потоки явно вообще не использую. И в этом деле никаких общих ресурсов нет.

Весь конвеер создания дорвея и его постобработки - это 99% io-операции, вычислений там никаких нет, а io занимается сетевой драйвер, потоки лишь неявно дергаются из пула когда завершилась одна операция, нужно обработать её результат и запустить следующую. и т.д.