Смотри хуизы и трассировку.
Будет давать нагрузку - в бан. А если не нагружает сервак, то и ладно.
Сеткой из множества подсетей. А 10К, это всего лишь 40 блоков /24, ими Гугл особо не попарсишь.
Отнюдь. Как раз для больших объёмов XML не годится.
Ну, это до той поры, пока картина трафика формируется по "средней активности". А когда ты даёшь десятую (и выше) часть поискового трафика, то ты воленс-неволенс делаешь свой вклад в изменение картины этой средней загрузки. В свою, разумеется, пользу.
А потом на основе всяких публичных метрик выходят статьи, а-ля "типичный пользователь Рунета в новом году предпочитает глубже анализировать выдачу, активно пользуется специфическими запросами поисковых систем, и всё чаще выходит в Сеть с мобильных устройств. Всё это говорит о том, что технологии, из повседневной части нашей жизни, постепенно превращаются в насущно необходимую потребность". ;)
Мы, похоже, мало пересекаемся в темах на форуме. :) Публичные, анонимные, элитные, всякие крекс-пекс-фекс-сокс прокси, родом из Гондураса и Кампучии - я не знаю, кому нужны. Рапидшарщикам каким-нить, или на форум/почту зарубежные зайти.
Для парсинга же ПС существуют промышленнные решения, на два-три порядка мощнее, всех этих невинных занзибарских шалостей.
SilverMaster, та полно. IP-то не подделаешь (вернее, дорого это весьма). Так что, независимо от куко-заголовков, парсера всегда можно вычислить по адресу.
Если это ботнет, то пеняй юзеру, чтобы машину чистил, ну а если белый адрес, то имеет смысл поговорить с провайдером про такую активность.
Что за обменник?
Та ладно... :)
Пополняйте базу. Ресурсы вечными не бывают, рано или поздно такой парсинг станет нерентабельным.
С Днем Рождения. :) Дата не круглая, настроение должно быть хорошим. ;)
Не то, чтобы противопоставляю - просто наука относительно недавно (и "извне") пришла к изучению функционирования мозга и нервной системы, хотя у человека изначально имеется потенциал внутреннего духовного воспитания, при помощи тренировок (тем более, у нескольких десятков и сотен поколений) весьма существенно раскрываемый.
К примеру тех, которые отвечают за скорость и полноту обучения.
Есть сомнения на эту тему? А-ля сомнения идеализаторов гужевого транспорта?
То самое сознательное развитие внутренних способностей, от творческих до сверхъестественных.
Так это разве проблема, продолжительность жизни и познавательные возможности?
Вот вопрос, почему человечество пошло по пути технического, а не внутреннего прогресса (начиная от язычества и анимизма, и заканчивая "запретом" на магию) - вот это вопрос. Это, если угодно, и был тот самый фазовый переход, к которому мы опять возможно подходим.