да нет, там все по честняку. для доменов, которыми владеет годедди, есть сразу аукционы. такой себе киберсквоттинг от мастадонтов.
делайте задержку, хотя бы. от 1 секунды. я при парсинге гугла делаю 3-5 секунд. в вашем случае это должно окупиться стабильностью шестнадцати потоков.
куки я каждый раз обнуляю, типа, куки не сохраняются у клиентов и, возможно, я не прав, но чтобы сохранять еще и куки, мне бы пришлось из каждого потока бадяжить полноценную сессию. на самом деле, мне влом было выдумывать под это ТЗ и я забил, ибо знал, что и без кук будет отлично парситься.
юзерагент важней кук.
да он и не помрет. будет обслуживать отставшую часть населения. в украине такой же отстой имеется - укртелеком называется. то же самое - за бюджет построил сети телекомуникационные в каждую селуху, а потом имеет, как хочет. ну чо, частники захватывают эти сегменты, конкуренцию составить беспонтовому гос-прову очень просто. он как гигант без мозгов, - никакого маркетинга, никакого сервиса, никакого контроля качества, зато всюду монополист. всюду, где укртелекому есть замена - всюду народ юзает замену. следовательно, в основном, им пользуются на уровне датацентров из-за крутых линий и на уровне отсталых селух из-за отсутствия выбора.
какие задержки между запросами в одном потоке?
короче, у вас парсер должен делить по потоку на проксю и выжимать их до конца, при этом, выдавать рендомные юзерагенты. задержки лично я выставляю 3-5 секунд и даже каптчи не ловлю. иногда, когда делаю 1-3 секунды - получаю бан. в таком случае, я делаю сеспенд проксе на три часа, потом опять продолжаю парсинг с нее.
/28 - это что, 16 ойпе? маловато для таких работ. мы для парсинга яндекса тысячами прокси юзаем. преимущественно, свои. некоторые исп (в основном, в россии и америке) предлагают /25-/26 вместе с колоколом.
а зачем эти вопросы? посмотрите частоту айтишных запросов в яше и гугле. и да обрящете.
пользуйтесь проксями. можно тором. и анонимайзерами.
на самом деле, если вы прохаванный юзер, - снимите вдс где-то не у ростелекома и поднимите там проксю (какой-то tinyproxy) с авторизацией по вашему ойпе. разницы в серфинге не заметите особой. а чтобы не терять время (процессорное) зря - перенесите туда еще пару сайтиков и запилите доступ к админке только с локалхоста. дополнительная защита и не жаль вдс только ради прокси оплачивать.
Короче, да, ситуация такова, что ростелеком живут в бюджете. а жизнь в бюджете - это не просто отсутствие элементарного маркетинга, но и постоянное распиливание бюджета. ну не мне вам обьяснять, как работает государство в рашке. так что им глубоко плевать на то, что будет с ростелекомом завтра - им бы побыстрей карманы бюджетом набить, а там - хоть потоп.
так - не покупал. это сервис годедди для говноамеров, что хотят купить чужой домен. заключается он в том, что клерки годедди связываются с овнером по регистрационным данным и добазариваются о продаже домена. и все это - онли 60 евров.
и, действительно, что делать если владелец домена поставл в контактах чушь какую-то (или privacy.org), проплатил домен на 10 лет вперед и свалил? не достучаться.
кроме индексации, через говносоциалки можно ранжироваться по яшке. не пробовал? :) при правильном подходе еще неделю назад можно было любое говно по ВК ВЧ в топ выгнать за пару дней твиттером одним. щас санкции вводятся срочненько яшой - темы появляются о том, что, мол, твиттер не индексится :)
зря, при павильном подходе они бустят индексацию :) быдло-быдлом, а яша любит ему угождать.
вот и отдай свой билетик ТСу. пофиксил. вижу, вижу :)
ну как-то отсеяли. по реферерам, возможно. хотя, врядли додумаются, скорее, по алфавиту, чем по каким-то ЦА-признакам. это же яндекс :)
хах, по алфавиту "Алексей" должен бы пройти, но, увы, это алфавит яндекса :) там "Я" - первая.
