Форум Практика оптимизации Doorways & Cloaking

Хочу протестировать сервис, нужен специалист в количестве 1 штука

1 234
Ilekor
На сайте с 22.04.2009
Offline
138
Ilekor
#21

AlienZzzz, Думаю этого вам достаточно будет?



function file_get_contents_curl($url) {
$ch = curl_init();

curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:32.0) Gecko/20100101 Firefox/32.0');
curl_setopt($ch, CURLOPT_REFERER, 'http://www.youtube.com/');
curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt ($ch, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат
curl_setopt ($ch, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_URL, $url);

$data = curl_exec($ch);
curl_close($ch);

return $data;
}

$url_youtube = "https://www.googleapis.com/youtube/v3/search?";

$query = array(
'regionCode'=>$dset['regionkod'],
'relevanceLanguage'=>$dset['langkod'],
'part'=>'snippet',
'videoEmbeddable'=>'true',
'videoCategoryId'=>23,
'videoSyndicated'=>'true',
'type'=>$dset['type_s'],
'safeSearch'=>'strict',
'maxResults'=>50,
'q'=>trim($k).$dset['relcat'],
'key'=>$set['apikey'],
'order'=>$dset['sorting'],
'publishedAfter'=>$dset['period'],
);

$obj = file_get_contents_curl($url_youtube. http_build_query($query));

var_dump(json_decode($obj)); // Обьект
var_dump(json_decode($obj, true)); // Массив

Лучший дорген 21 века AgDor(http://agdor.info)
Петр Елагин
На сайте с 21.03.2007
Offline
197
Петр Елагин
#22
Ilekor:
AlienZzzz, Думаю этого вам достаточно будет?

Думаю мне будет вот этого достаточно )

https://developers.google.com/youtube/v3/code_samples/python#search_by_keyword

в 2009 я с пхп расстался =)

https://shareways.ru
P5
На сайте с 18.09.2010
Offline
69
Parviz555
#23

🍿 Tuberro CMS и аналоги отлично справляются с задачей автозаполнения роликов с Youtube

_Snake_
На сайте с 06.12.2010
Offline
151
_Snake_
#24
AlienZzzz:

сбор будет не скриптом - а настоящими броузерами в потоковом режиме( сейчас 50-70 броузеров работают в постоянном режиме - для проверки сделал парсинг Авиты и вытаскивание телефонов )

Вопрос в целесообразности, браузеры жрут больше ресурсов чем скрипты. А сколько в данный

момент есть сервисов, которые проверяют зашли ли вы с реального браузера, а не скриптом?

Пожалуй только гугл сервисы?

Петр Елагин
На сайте с 21.03.2007
Offline
197
Петр Елагин
#25
_Snake_:
Вопрос в целесообразности, браузеры жрут больше ресурсов чем скрипты. А сколько в данный
момент есть сервисов, которые проверяют зашли ли вы с реального браузера, а не скриптом?
Пожалуй только гугл сервисы?

Не только гугло сервисы!

браузеры - дороже я не спорю, но, например, директ кликнуть там или капчу гугла - проще это сделать в броузере, чем разбираться в том, как сделали защиту.

Также броузеры менее подвержены капче, так как эмулируют поведение пользователя намного лучше скриптов

У меня работает сейчас 50 постоянно - это значит, что я могу делать примерно 15-18 запросов в секунду = итого в день 1 555 200 запросов типа "броузер", что хороший показатель

почему 50 - так как один броузер( скомпилированного мной ) - жрет пол гига памяти = 50 * 0.5 = 25 гигов, у меня на сервере 32 гига - можно докупить больше и тогда смогу запустить больше!

когда жрет больше 700 метров - я его убиваю, и поднимаю новый.

Можно ли добиться 150-200 Самые удивительные капчи интернета Как можно объяснить такое?
_Snake_
На сайте с 06.12.2010
Offline
151
_Snake_
#26
AlienZzzz:
Не только гугло сервисы!

браузеры - дороже я не спорю, но, например, директ кликнуть там или капчу гугла - проще это сделать в броузере, чем разбираться в том, как сделали защиту.

Также броузеры менее подвержены капче, так как эмулируют поведение пользователя намного лучше скриптов

У меня работает сейчас 50 постоянно - это значит, что я могу делать примерно 15-18 запросов в секунду = итого в день 1 555 200 запросов типа "броузер", что хороший показатель

почему 50 - так как один броузер( скомпилированного мной ) - жрет пол гига памяти = 50 * 0.5 = 25 гигов, у меня на сервере 32 гига - можно докупить больше и тогда смогу запустить больше!

когда жрет больше 700 метров - я его убиваю, и поднимаю новый.

На продажу будет? Типо a-parser только с браузерами?

Петр Елагин
На сайте с 21.03.2007
Offline
197
Петр Елагин
#27
_Snake_:
На продажу будет? Типо a-parser только с браузерами?

смотрите подпись )

а парсер хорош =) и они уже давно в паблике, а я давно в парсинге, а вот в паблик как то не вышел еще =)

_Snake_
На сайте с 06.12.2010
Offline
151
_Snake_
#28
AlienZzzz:
смотрите подпись )

Я веду к тому, что, вы "купили" машину в 900 лошадей, чтобы ездить в соседний магазин за хлебом...

Парсер Yandex.XML, может отработать на более простых и на более дешёвых по себестоимости скриптах. Ваша же разработка для более сложных вещей, так вот и сосредоточитесь на них, не разменивайтесь на вещи которых и так в интернете полно. Делайте: регистраторы гугл акков, аддурилки, загон через "посмотреть как бот"... Я не знаю, сразу так в голову не приходит нужных вещей, но переодически сталкиваешься с трудностями... Да куча есть вещей которые ещё не реализованы как сервисы или которых мало и людям приходится изобретать велосипед. Залезьте а форум зенки и посмотрите с какими вещами там у людей возникают трудности, да пишите такие штуки у себя. Наконец, проведите опрос, чего не хватает вебмастерам...

Я понимаю в чём ваша проблема, вы программист, сделали крутую цацку, а как применять её не знаете. ☝

Задача должна строиться так:

проблема -> поиск решения -> реализация

а не так:

реализация -> удовлетворения в потребности тварить -> а вдруг кому-нибудь пригодится?

Берите пример с TopperHarley, он создал ветку по своей пандоре и ведёт. Во-первых вебмастера видят, что человек-молодец, поддерживает обратную связь, во-вторых он черпает идеи и видит потребности местного населения.

Джон Мюллер: не зацикливайтесь SEO: почему мы делаем Фёдор Вирин: «Мы не
Петр Елагин
На сайте с 21.03.2007
Offline
197
Петр Елагин
#29
_Snake_:
Я веду к тому, что, вы "купили" машину в 900 лошадей, чтобы ездить в соседний магазин за хлебом...

Парсер Yandex.XML, может отработать на более простых и на более дешёвых по себестоимости скриптах. Ваша же разработка для более сложных вещей, так вот и сосредоточитесь на них, не разменивайтесь на вещи которых и так в интернете полно. Делайте: регистраторы гугл акков, аддурилки, загон через "посмотреть как бот"... Я не знаю, сразу так в голову не приходит нужных вещей, но переодически сталкиваешься с трудностями... Да куча есть вещей которые ещё не реализованы как сервисы или которых мало и людям приходится изобретать велосипед. Залезьте а форум зенки и посмотрите с какими вещами там у людей возникают трудности, да пишите такие штуки у себя. Наконец, проведите опрос, чего не хватает вебмастерам...

Я понимаю в чём ваша проблема, вы программист, сделали крутую цацку, а как применять её не знаете. ☝
Задача должна строиться так:
проблема -> поиск решения -> реализация
а не так:
реализация -> удовлетворения в потребности тварить -> а вдруг кому-нибудь пригодится?

Берите пример с TopperHarley, он создал ветку по своей пандоре и ведёт. Во-первых вебмастера видят, что человек-молодец, поддерживает обратную связь, во-вторых он черпает идеи и видит потребности местного населения.

зенки - дайте ссылку

Спасибо)

yurii-angel
На сайте с 09.12.2009
Offline
79
yurii-angel
#30

🍿О чём базар ваще?

Но можно помедленее, я записваю.🤪

Продаю нервную систему, в отличном состоянии, заводится с пол-оборота . (http://www.youtube.com/watch?v=GvwB9lMy6Ik)
1 234

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий