Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 09.10.2019, 19:41   #61
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 3,185
Репутация: 242623

По умолчанию Re: Бототворения псто

billypelegrini, вот одиночная ступень простейшая, даже без второго события mouseup, только первый mousemove и всё, покрась ботом квадрат:
https://aa2a.ru/events.php

---------- Добавлено 09.10.2019 в 19:42 ----------

А потом я еще ступень добавлю mouseup, сразу за mousemove, тогда еще потренируешься
XPraptor вне форума   Ответить с цитированием
Сказали спасибо:

Реклама
Старый 09.10.2019, 19:45   #62
billypelegrini
Аспирант
 
Аватар для billypelegrini
 
Регистрация: 20.02.2019
Сообщений: 116
Репутация: -34992

ТопикСтартер Re: Бототворения псто

#Lesson 2

Linux (Ubuntu / Debian)
PHP код:
sudo apt-get install nodejs 
Windows
https://nodejs.org/en/download/
качаем, запускаем инсатллер.

дальнейшие маны из консоли винды, в линуксе -- то де самое но через sudo или без (если с рута)

---------- Добавлено 09.10.2019 в 20:09 ----------

Цитата:
Сообщение от XPraptor Посмотреть сообщение
покрась ботом квадрат:
https://aa2a.ru/events.php
Собственно начнем, но для начала axios-ом, понятно что действия javascript выполнить не получится, но на первом шаге -- задача получить код страницы



npm start

package.json

PHP код:
{
  
"name""parser",
  
"version""1.0.0",
  
"description""",
  
"main""index.js",
  
"scripts": {
    
"test""echo \"Error: no test specified\" && exit 1",
    
"start""node app.js"
  
},
  
"keywords": ***91;***93;,
  
"author""",
  
"license""ISC",
  
"dependencies": {
    
"axios""^0.19.0",
    
"cheerio""^1.0.0-rc.3",
    
"nightmare""^3.0.2",
    
"vo""^4.0.2"
  
}



---------- Добавлено 09.10.2019 в 20:21 ----------

Далее, закошмариваем эту тему (Nightmare -- название либы в переводе "кошмар")



---------- Добавлено 09.10.2019 в 20:22 ----------

В итоге: 5 секунд видим на экране Electron -браузера вьюв страницы.

---------- Добавлено 09.10.2019 в 21:00 ----------

XPraptor, предварительный результат: пройти твой бэнчмарк именно Nightmare на дэфолте не получилось, но сейячас что-то буду смотреть по ёрзанию мышкой в либах.

Последний раз редактировалось billypelegrini; 09.10.2019 в 21:01..
billypelegrini вне форума   Ответить с цитированием
Старый 09.10.2019, 21:05   #63
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 3,185
Репутация: 242623

По умолчанию Re: Бототворения псто

Цитата:
Сообщение от billypelegrini Посмотреть сообщение
но сейячас что-то буду смотреть по ёрзанию мышкой в либах.
Я же тебе объяснял уже - нет такого. Не могут боты в mousemove mouseup - события эти програмно возникают не в том порядке, в котором перехватываются. Поэтому, только стандалоне программы, типа браузеров, именно там через вызов системных API можно это делать, но это потеря скорости, поэтому боты которые это умеют, очень медленные по сравнению с обычными ботами запросов.
XPraptor вне форума   Ответить с цитированием
Сказали спасибо 2 пользователей:
Старый 09.10.2019, 21:16   #64
billypelegrini
Аспирант
 
Аватар для billypelegrini
 
Регистрация: 20.02.2019
Сообщений: 116
Репутация: -34992

ТопикСтартер Re: Бототворения псто

XPraptor, пробую, возможно найду способ, я сам думал о такой защите и делал.
billypelegrini вне форума   Ответить с цитированием
Старый 09.10.2019, 21:19   #65
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 3,185
Репутация: 242623

По умолчанию Re: Бототворения псто

billypelegrini, да это самые азы, это я лет 12-15 назад такое делал. Сейчас у гугла посерьезнее всё, но я все-равно его нагибаю, слабоваты они против меня пока
XPraptor вне форума   Ответить с цитированием
Старый 09.10.2019, 21:31   #66
billypelegrini
Аспирант
 
Аватар для billypelegrini
 
Регистрация: 20.02.2019
Сообщений: 116
Репутация: -34992

ТопикСтартер Re: Бототворения псто

XPraptor, ты чем нагибаешь, селениум...? курсорпозишн вроде как-то проходя найтмаром, я пока пробую.

---------- Добавлено 09.10.2019 в 21:41 ----------

Сдругой сторны моя гиппотеза по статистическому отлову адсенса может быть просто гиппотезой... и тогда проботав твой тест можно его нагнуть ))

Последний раз редактировалось billypelegrini; 09.10.2019 в 21:41..
billypelegrini вне форума   Ответить с цитированием
Старый 09.10.2019, 21:42   #67
Tarry
¯\_(ツ)_/¯
 
Аватар для Tarry
 
Регистрация: 31.10.2005
Адрес: Москва
Сообщений: 5,373
Репутация: 855528

По умолчанию Re: Бототворения псто

Цитата:
Сообщение от XPraptor Посмотреть сообщение
Я же тебе объяснял уже - нет такого. Не могут боты в mousemove mouseup - события эти програмно возникают не в том порядке, в котором перехватываются. Поэтому, только стандалоне программы, типа браузеров, именно там через вызов системных API можно это делать, но это потеря скорости, поэтому боты которые это умеют, очень медленные по сравнению с обычными ботами запросов.
Вот я там выше про это примерно пиздел, да. Весь этот парсинг\шмарсинг хуйня собачья - взял дом и хуяч. Ну или исполнил все скрипты, взял дом - и хуячь. Даже магии не нужно, нужно просто хелп читать. Хотя, конечно, я бы кому-то там за жаваскрипт прямо по яйцам бы отвеслил, пару раз ))
Tarry на форуме   Ответить с цитированием
Старый 09.10.2019, 21:44   #68
billypelegrini
Аспирант
 
Аватар для billypelegrini
 
Регистрация: 20.02.2019
Сообщений: 116
Репутация: -34992

ТопикСтартер Re: Бототворения псто

Tarry, конкретизируй? жаваскриптом не получтся такое ботать? тогда почему. нет я без скепсиса, я тоже ищу.

---------- Добавлено 09.10.2019 в 21:45 ----------

... с другой стороны джабаскриптом получается боатть намного больше чем навесило бы чтобы от него отказываться.
billypelegrini вне форума   Ответить с цитированием
Старый 09.10.2019, 21:47   #69
XPraptor
WebMonster
 
Аватар для XPraptor
 
Регистрация: 15.10.2004
Адрес: Minsk
Сообщений: 3,185
Репутация: 242623

По умолчанию Re: Бототворения псто

billypelegrini, я сам разраб много-много лет, я даже в первые годы не пользовался ни чем чужим, всегда сам велосипеды делал, помогло сильно в будущем.

Поэтому у меня весь свой софт, а гугла именно системным АПИ приходится сейчас нагибать, запросный транк они прикрыли полгода назад, всё, финита ля комедия.
Некоторые конечно могут себе позволить деясток /24 под бан загнать, с боярами не поспоришь, но на долго подсетей не хватит, придется всем на систему пересаживаться и тормоза прочувствовать в итоге.

---------- Добавлено 09.10.2019 в 21:51 ----------

Цитата:
Сообщение от billypelegrini Посмотреть сообщение
жаваскриптом не получтся такое ботать?
Давно уже не следил, там ничего нового сильно не появляется в эсмах, но ранее было 11 или 12 событий, которые запрещены конвенцией в яваскрипте, их нельзя генерить, только перехватывать и обрабатывать. mousemove mouseup 2 из них, обрабатывать можно - генерить запрещено и никто не сделает этого, пока не разрешат.

На этих 12 событиях и живем Если их откроют, боты станут неотличимы от юзера, без системных апи можно будет юзать, протсо запросами.

---------- Добавлено 09.10.2019 в 21:53 ----------

Цитата:
Сообщение от Tarry Посмотреть сообщение
Вот я там выше про это примерно пиздел, да. Весь этот парсинг\шмарсинг хуйня собачья - взял дом и хуяч. Ну или исполнил все скрипты, взял дом - и хуячь. Даже магии не нужно, нужно просто хелп читать. Хотя, конечно, я бы кому-то там за жаваскрипт прямо по яйцам бы отвеслил, пару раз ))
Скорость! Сотню ты просканишь, ну 1000 - весело, радует, а если тебе 10 млн надо? или 100 млн страниц? Запросный бот запросто на средних ресах такое исполнит, а системный - наверное весь цод надо арендовать под это.
XPraptor вне форума   Ответить с цитированием
Старый 09.10.2019, 21:54   #70
billypelegrini
Аспирант
 
Аватар для billypelegrini
 
Регистрация: 20.02.2019
Сообщений: 116
Репутация: -34992

ТопикСтартер Re: Бототворения псто

Цитата:
Сообщение от XPraptor Посмотреть сообщение
генерить запрещено и никто не сделает этого, пока не разрешат.
так можно допистьв тот же V8 и заприватить, а я также велосипедосроитель уже 12 лет, но я по прежнему не считаю себя гурёй в теме.

---------- Добавлено 09.10.2019 в 21:56 ----------

Цитата:
Сообщение от XPraptor Посмотреть сообщение
Запросный бот запросто на средних ресах такое исполнит, а системный - наверное весь цод надо арендовать под это.
Та погодь, может получится проботить этот тест а потом и другие...))

---------- Добавлено 09.10.2019 в 21:58 ----------

Давай разницу что ты понимаешь под запросным и системным ботом? Либы, так понимаю запросный, а системный это браузер... но.. события должны генериться яваскриптом, они им понимаются то есть есть движки под это.. если нет их опять же можно дописать в сишную либу и все на том.
billypelegrini вне форума   Ответить с цитированием
Ответ

Метки
#axios , #browser automation , #nightmarejs , #nodejs



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны