Бототворения псто

#Lesson 2

Linux (Ubuntu / Debian)

sudo apt-get install nodejs

Windows

https://nodejs.org/en/download/

качаем, запускаем инсатллер.

дальнейшие маны из консоли винды, в линуксе -- то де самое но через sudo или без (если с рута)

---------- Добавлено 09.10.2019 в 20:09 ----------

Собственно начнем, но для начала axios-ом, понятно что действия javascript выполнить не получится, но на первом шаге -- задача получить код страницы

npm start

package.json

{
  "name": "parser",
  "version": "1.0.0",
  "description": "",
  "main": "index.js",
  "scripts": {
    "test": "echo \"Error: no test specified\" && exit 1",
    "start": "node app.js"
  },
  "keywords": [],
  "author": "",
  "license": "ISC",
  "dependencies": {
    "axios": "^0.19.0",
    "cheerio": "^1.0.0-rc.3",
    "nightmare": "^3.0.2",
    "vo": "^4.0.2"
  }
}

---------- Добавлено 09.10.2019 в 20:22 ----------

В итоге: 5 секунд видим на экране Electron -браузера вьюв страницы.

---------- Добавлено 09.10.2019 в 21:00 ----------

XPraptor, предварительный результат: пройти твой бэнчмарк именно Nightmare на дэфолте не получилось, но сейячас что-то буду смотреть по ёрзанию мышкой в либах.

Я же тебе объяснял уже - нет такого. Не могут боты в mousemove mouseup - события эти програмно возникают не в том порядке, в котором перехватываются. Поэтому, только стандалоне программы, типа браузеров, именно там через вызов системных API можно это делать, но это потеря скорости, поэтому боты которые это умеют, очень медленные по сравнению с обычными ботами запросов.

XPraptor, пробую, возможно найду способ, я сам думал о такой защите и делал.

billypelegrini, да это самые азы, это я лет 12-15 назад такое делал. Сейчас у гугла посерьезнее всё, но я все-равно его нагибаю, слабоваты они против меня пока :)

XPraptor, ты чем нагибаешь, селениум...? курсорпозишн вроде как-то проходя найтмаром, я пока пробую.

---------- Добавлено 09.10.2019 в 21:41 ----------

Сдругой сторны моя гиппотеза по статистическому отлову адсенса может быть просто гиппотезой... и тогда проботав твой тест можно его нагнуть ))

Вот я там выше про это примерно пиздел, да. Весь этот парсинг\шмарсинг хуйня собачья - взял дом и хуяч. Ну или исполнил все скрипты, взял дом - и хуячь. Даже магии не нужно, нужно просто хелп читать. Хотя, конечно, я бы кому-то там за жаваскрипт прямо по яйцам бы отвеслил, пару раз ))

Tarry, конкретизируй? жаваскриптом не получтся такое ботать? тогда почему. нет я без скепсиса, я тоже ищу.

---------- Добавлено 09.10.2019 в 21:45 ----------

... с другой стороны джабаскриптом получается боатть намного больше чем навесило бы чтобы от него отказываться.

billypelegrini, я сам разраб много-много лет, я даже в первые годы не пользовался ни чем чужим, всегда сам велосипеды делал, помогло сильно в будущем.

Поэтому у меня весь свой софт, а гугла именно системным АПИ приходится сейчас нагибать, запросный транк они прикрыли полгода назад, всё, финита ля комедия.

Некоторые конечно могут себе позволить деясток /24 под бан загнать, с боярами не поспоришь, но на долго подсетей не хватит, придется всем на систему пересаживаться и тормоза прочувствовать в итоге.

---------- Добавлено 09.10.2019 в 21:51 ----------

Давно уже не следил, там ничего нового сильно не появляется в эсмах, но ранее было 11 или 12 событий, которые запрещены конвенцией в яваскрипте, их нельзя генерить, только перехватывать и обрабатывать. mousemove mouseup 2 из них, обрабатывать можно - генерить запрещено и никто не сделает этого, пока не разрешат.

На этих 12 событиях и живем :) Если их откроют, боты станут неотличимы от юзера, без системных апи можно будет юзать, протсо запросами.

---------- Добавлено 09.10.2019 в 21:53 ----------

Скорость! Сотню ты просканишь, ну 1000 - весело, радует, а если тебе 10 млн надо? или 100 млн страниц? Запросный бот запросто на средних ресах такое исполнит, а системный - наверное весь цод надо арендовать под это.

так можно допистьв тот же V8 и заприватить, а я также велосипедосроитель уже 12 лет, но я по прежнему не считаю себя гурёй в теме.

---------- Добавлено 09.10.2019 в 21:56 ----------

Та погодь, может получится проботить этот тест а потом и другие...))

---------- Добавлено 09.10.2019 в 21:58 ----------

Давай разницу что ты понимаешь под запросным и системным ботом? Либы, так понимаю запросный, а системный это браузер... но.. события должны генериться яваскриптом, они им понимаются то есть есть движки под это.. если нет их опять же можно дописать в сишную либу и все на том.

billypelegrini, ты не можешь в библиотеку встроить запрещенные обработчики, тебе придется свою библиотеку локально делать - а это уже системная обработка, скорость упадет в разы, затраты ресурсов возрастут.