MetadonPerec: Чисто код <script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> позовет рекламного бота, без остального куска кода от объявления с идентификатором и т.д.?
Теоретически бота позовет. Но объявления ведь замеряют параметры вроде "Процент показов в видимой области".
Если дергать скрипт просто передавая ему реферер, риск улететь в бан по идее выше.
Если кто-то решит попробовать вариант с Watir, то для его использования понадобится
File.open('/path/to/my/url_list.txt').readlines.each do |one_url| begin $browser.goto one_url.strip sleep(1) rescue Exception => e puts e.message end end
После вчерашнего обхода есть значительный рост CPM.
Больше, чем в два раза. Но там были и другие оптимизации, может что-то еще повлияло.
Обошел всего несколько тысяч страниц, чтобы не рисковать баном за накрутку показов.
Лайфхак:
Не забудьте поставить в браузере Ghostery и заблокировать Метрику или Analytics, чтобы не загубить себе отчет по статистике посещаемости за месяц, если у вас не игнорируются посещения с домашнего IP. При этом не нужно блокировать в настройках Ghostery показ рекламы.
gleam: да это понятно, интересен процент посещения, вот замечаю, что иногда есть реклама в одном блоке, в другом нет и проход тут не помогает точно :) страницы где был бот - второй раз он тоже не заходит... в любом случае у меня несколько десятков миллионов страниц и обходить их так за пару часов не получается, можно конечно автоматизировать - но ссыкатно пострадать за накрутку показов. Придётся теперь вместо десятков, сотни миллионов генерить... гугл совсем вот не за чистоту интернета 😡
Ситуация знакомая.
Придется понемногу в день крутить для самых посещаемых страниц, ничего лучше еще не придумал.
gleam: А логи если погрепать "grep -ci Mediapartners" будут все те же 5-10к страниц с каждого сайта? Просто я вот наблюдаю, что бои прибегает далеко не всегда
Запустил в один поток, параллельно смотрю на экране и в лог.
Когда на странице нет объявлений, в логе сразу отмечается бот Mediapartners.
Не знаю, не надоест ли ему, но пока с виду ни одного запроса бот не пропустил.
minSEO: Топик не читал, возможно уже писали.
Мое решение проблемы: зеннопостером прошелся по всем страницам сайта, реклама стала показываться, RPM вернулся к нормальным значениям.
Обход делали через разные прокси? Или с домашнего IP?
Планирую обработать так около 60к страниц. Есть опасения, что это будет расценено как накрутка показов.
Phaeton090: sergeich_gs интересно монетизируя свой сайт адсенсом, каким образом вы будете банить в csp - tcp.googlesyndication или doubleclick? код ползет именно оттуда
Есть еще способы.
Например, при запросе страницы с мобильного устройства добавлять перед </body> JS, который будет
1. Находить все рекламные теги вида
<ins ... data-ad-client="ca-pub-ХХХХХХХХХХХ".....> (или любые другие вставки замеченные на сайте)
2. Если ca-pub не свой, то вырезать их.
Только понятно, что массово никто так делать не будет.
1_st: Как это действует в реале, можно в двух словах?🍿
На один из крупных блоков объявления можно повесить Javascript функцию,
которая будет перехватывать клики по объявлению и вместо перехода по правильной ссылке,
после клика переадресовывать посетителя на любой нужный сайт.
Способов реализации множество, неизвестно какая комбинация сработает и обойдет защиту Adwords. Это приблизительный пример. Скорее всего код намного сложнее.
Можно посмотреть по диагонали эту статью, чтобы оценить к каким хитростям могут прибегать Javascriptеры в своих черных делах )
Еще непонятно, их баннер, что-то вроде
"Баннеры - не зубы, отрастут"
это завуалированный намек на то, что владельцы хабра хотят выбить зубы тем, кто блокирует их баннеры? Да так, чтобы не отросли?
Чисто код <script async src="//pagead2.googlesyndication.com/pagead/js/adsbygoogle.js"></script> позовет рекламного бота, без остального куска кода от объявления с идентификатором и т.д.?
Теоретически бота позовет. Но объявления ведь замеряют параметры вроде "Процент показов в видимой области".
Если дергать скрипт просто передавая ему реферер, риск улететь в бан по идее выше.
Если кто-то решит попробовать вариант с Watir, то для его использования понадобится
установить Ruby,
gem watir
скачать и добавить в PATH https://sites.google.com/a/chromium.org/chromedriver/downloads
а чтобы установить в браузер расширения, нужно указать в скрипте каталог для профиля браузера,
запустить скрипт в irb и установить расширения. После чего расширения останутся установленными при каждом запуске.
а то я уже собрался батник запускать :)
"C:\Program Files\Internet Explorer\iexplore.exe" "http://site/1"
timeout 5
...
Отличный вариант для своей задачи, если не нужно совершать действий на странице. И без всякого дополнительного софта :)
Я еще параллельно немного скроллю, хожу по ссылкам, но это совсем отдельная история.
В итоге, каким софтом бесплатным или недорогим пройтись по всем страницам сайта? Надо чтобы от через броузер сканировал.
Вариант для программистов.
Требует предварительной настройки системы и экспорта URL для обхода в файл.
Это Ruby, не PHP.
После вчерашнего обхода есть значительный рост CPM.
Больше, чем в два раза. Но там были и другие оптимизации, может что-то еще повлияло.
Обошел всего несколько тысяч страниц, чтобы не рисковать баном за накрутку показов.
Лайфхак:
Не забудьте поставить в браузере Ghostery и заблокировать Метрику или Analytics, чтобы не загубить себе отчет по статистике посещаемости за месяц, если у вас не игнорируются посещения с домашнего IP. При этом не нужно блокировать в настройках Ghostery показ рекламы.
да это понятно, интересен процент посещения, вот замечаю, что иногда есть реклама в одном блоке, в другом нет и проход тут не помогает точно :) страницы где был бот - второй раз он тоже не заходит... в любом случае у меня несколько десятков миллионов страниц и обходить их так за пару часов не получается, можно конечно автоматизировать - но ссыкатно пострадать за накрутку показов. Придётся теперь вместо десятков, сотни миллионов генерить... гугл совсем вот не за чистоту интернета 😡
Ситуация знакомая.
Придется понемногу в день крутить для самых посещаемых страниц, ничего лучше еще не придумал.
А логи если погрепать "grep -ci Mediapartners" будут все те же 5-10к страниц с каждого сайта? Просто я вот наблюдаю, что бои прибегает далеко не всегда
Запустил в один поток, параллельно смотрю на экране и в лог.
Когда на странице нет объявлений, в логе сразу отмечается бот Mediapartners.
Не знаю, не надоест ли ему, но пока с виду ни одного запроса бот не пропустил.
За логом еще удобно следить например так
tail -f /path/to/my/log.txt | grep Mediapartners
Топик не читал, возможно уже писали.
Мое решение проблемы: зеннопостером прошелся по всем страницам сайта, реклама стала показываться, RPM вернулся к нормальным значениям.
Обход делали через разные прокси? Или с домашнего IP?
Планирую обработать так около 60к страниц. Есть опасения, что это будет расценено как накрутка показов.
Ведь CTR будет равен нулю.
1. Они и не разбираются с Адвордс, оптимизатор бетонного завода заказывает это на каком-то фрилансерском ресурсе.
Если не разбираются, то конечно могут забивать гвозди микроскопом.
Но ситуация выглядит слишком массовой для работы необразованного фрилансера против Adwords.
Ему было бы проще купить пачку прокси и изучить способы нагона ботов,
либо даже напрямую накручивать счетчики (Ghost Spam), чем уже годы занимается широко известный в узких кругах Виталик.
sergeich_gs интересно монетизируя свой сайт адсенсом, каким образом вы будете банить в csp - tcp.googlesyndication или doubleclick? код ползет именно оттуда
Есть еще способы.
Например, при запросе страницы с мобильного устройства добавлять перед </body> JS, который будет
1. Находить все рекламные теги вида
<ins ... data-ad-client="ca-pub-ХХХХХХХХХХХ".....> (или любые другие вставки замеченные на сайте)
2. Если ca-pub не свой, то вырезать их.
Только понятно, что массово никто так делать не будет.
Как это действует в реале, можно в двух словах?🍿
На один из крупных блоков объявления можно повесить Javascript функцию,
которая будет перехватывать клики по объявлению и вместо перехода по правильной ссылке,
после клика переадресовывать посетителя на любой нужный сайт.
Способов реализации множество, неизвестно какая комбинация сработает и обойдет защиту Adwords. Это приблизительный пример. Скорее всего код намного сложнее.
Можно посмотреть по диагонали эту статью, чтобы оценить к каким хитростям могут прибегать Javascriptеры в своих черных делах )
https://habrahabr.ru/company/ruvds/blog/346442/
если сайты ломают и заливают редирект на какую-нить хрень, то все становится более-менее понятно.
Это первая возможность.
И вторая, если есть приватный баг с возможностью подтягивать свои JS файлы, билановоды теоретически могут сделать так (образно, для примера):