Софт для обхода сайта (Adsense Crawler)

12 3
Dmitriy Vlasov
На сайте с 22.03.2019
Offline
59
2339

По мотивам этого поста я решил сделать простой софт на BAS (BrowserAutomationStudio) для обхода сайта и делюсь им с вами.

Думаю многим пригодиться. :beer:

Что софт делает?

Софт работает в многопотоке и может обходить сайты очень быстро.

Кол-во поддерживаемых потоков будет зависеть от вашего железа.

Работает в двух режимах:

1. Может за несколько секунд спарсить ваш Sitemap.xml и положить урлы в файл для дальнейшего обхода.

Для этого укажите софту txt список с вашими сайтмапами, например:

https://domain.ru/sitemap-1.xml

https://domain.ru/sitemap-2.xml

и т.д.

2. Обходит сайт по списку урлов

2.1 Меняет User-Agent

2.2 Задается интервал прибывания на сайте

2.3 Для хардкорщиков есть возможность подключать прокси

Скачать можно по этой ссылке

P.S. софт может блокироваться 10 виндой, по этому вопросу лучше писать сразу разработчику движка.

Недавнее сканирование на Virustotal

Если надо будет чего добавить пишите тут, будет время я обновлю софт.

FreeJabber
На сайте с 02.09.2012
Offline
115
#1

Эм, а зачем обходить сайты? с какой целью?

мож я чего то не знаю?

Dmitriy Vlasov
На сайте с 22.03.2019
Offline
59
#2
FreeJabber:
Эм, а зачем обходить сайты? с какой целью?

мож я чего то не знаю?

Я указал ссылку на форум адсенса в самом верху, там есть информация.

Ну и я на своих сайтах обошел 300к страниц и теперь вижу рекламу на каждой.

Обходил вчера ночью.

Пробуйте, может и вам поможет и мне будет интересен ваш результат.

Если будет время, то сделаю планировщик, чтобы можно было поставить софт на VPS и он сам будет каждый день обходить сайт в указанном интервале.

CQ
На сайте с 04.05.2018
Offline
30
#3
Dmitriy Vlasov:

Ну и я на своих сайтах обошел 300к страниц и теперь вижу рекламу на каждой.

Сколько времени ушло на обход 300к страниц?

Из правил Adsense:


Издателям запрещено обновлять страницу или ее элемент без соответствующего запроса пользователя. Подразумевается, кроме прочего, показ объявлений на страницах или в других местах размещения с автоматической переадресацией или автоматическим обновлением.
Вот несколько примеров недействительного трафика:
....
- многократные просмотры или клики, выполненные одним или несколькими пользователями;
...
Любые методы искусственного увеличения числа кликов и показов категорически запрещены правилами программы. При обнаружении недействительного трафика мы можем заблокировать или отключить ваш аккаунт для защиты рекламодателей и пользователей.
GRAFLEKX
На сайте с 05.11.2010
Offline
212
#4

ТС, какой % роботности в отчетах GA после обхода сайта ботом?

На сколько вижу из настроек скрипта, слепки фингера не используете?

В скрипте есть алгоритм случайных действий на странице: движения мышкой, клики, прокрутка и т.д.?

Список прокси отрабатывает по кругу или по одному на поток и когда список закончится, то скрипт делает "стоп"?

Мы поможем в поиске работы: стабильная работа для вас ( https://www.rabota.ru ), вакансии и резюме.
sapsan72
На сайте с 06.12.2015
Offline
268
#5
ControllerQ:
Сколько времени ушло на обход 300к страниц?

Из правил Adsense:

А кто знает - кто обновляет страницу? От этого софта явно не может быть последствий.

Продаю аккаунты Google Adsense Старые и новые! ( https://t.me/adsensetop ) Чат адсенс - не для нубов! ( https://t.me/adsense_pub ) Куплю твой Adsense! Телега ( https://ttttt.me/tut_ya )
ZomBat
На сайте с 08.10.2016
Offline
24
#6
sapsan72:
От этого софта явно не может быть последствий.

Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...

в свободное время шаманю над веб-окружением VPS...
Unlock
На сайте с 01.08.2004
Offline
775
#7
ZomBat:
Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...

Вы тогда лишний раз бойтесь посмотреть рекламу на своем сайте, а вдруг и что... Да и на монитор не дышите, а то опять же вдруг и что...

Вообще удивляет, столько говна в сторону ТС полетело, а он поделился хорошей программой. Которая никаких правил не нарушает.

Есть желание, - тысяча способов; нет желания, - тысяча поводов! /Петр-I/.
lkm
На сайте с 16.03.2012
Offline
362
lkm
#8
Unlock:
Вообще удивляет, столько говна в сторону ТС полетело, а он поделился хорошей программой. Которая никаких правил не нарушает.

Нарушает...

sapsan72
На сайте с 06.12.2015
Offline
268
#9
ZomBat:
Раз так категорично, тогда может и сразу кликать по рекламе, нет? Сейчас нет последствий хорошо, через неделю чевонить выкатят, и полетят аки в далекое пешее пачками...

полный бред. Куча ботов просматривает страницы. Чем этот софт отличается от того же поиского бота любого поисковика?

Unlock
На сайте с 01.08.2004
Offline
775
#10
lkm:
Нарушает...

И что же нарушает? Бот ходит и смотрит страницы. Вы хоть головой то думайте, прежде чем писать... Лишь бы ляпнуть что-нибудь.

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий