Беда wap рынка. Гугл банит сайты, а сам "сливает". Не потеряйте свой сайт.

Convert$
На сайте с 19.12.2008
Offline
263
58272

Добрый вечер, уважаемые форумчане.

Вот суть, что бы было не лень читать много букв и много строк:

Думаю многих волнует проблема: "Как лить трафик, но не уйти в бан на подписки?"

Мы разработали систему которая позволяет не уходить в бан на 99%, и сейчас тестируем систему которая защищает от бана любой ПС на 100% и является белой и согласована с ПС.

И так, мы тестируем ее около месяца - все отлично, НО в один прекрасный день сайт с посещаемостью чуть более 500 000 хостов получает БАН в гугле! С причиной - редирект мобильных пользователей!

Вот письмо гугла:

http://домен тут/: маскировка и/или скрытая переадресация
Мы обнаружили, что страницы на вашем сайте, которые видят посетители, отличаются от тех, которые предоставляются роботу Google. Например, пользователи определенных браузеров, устройств или с IP-адресами в заданном диапазоне могут перенаправляться на другие страницы. Поскольку маскировка и скрытая переадресация являются нарушением рекомендаций Google для веб-мастеров, мы вручную приняли меры в отношении http://домен тут/ для защиты от спама. К вашему сайту или его разделам также могут быть применены и другие меры.



--------------------------------------------------------------------------------



Рекомендуемые действия

Воспользуйтесь инструментом Просмотреть как Googlebot в Инструментах для веб-мастеров, чтобы проверить, как видит вашу страницу поисковая система Google.
Исправьте или удалите страницы, где используется маскировка или скрытая переадресация пользователей по признакам "браузер", "устройство" или "IP-адрес".
Просмотрите обновленный список мер, принятых вручную на этой странице. Если он пуст, то обращаться к нам не нужно.
В противном случае вы можете запросить повторную проверку, когда сайт будет приведен в соответствие с рекомендациями Google для веб-мастеров. Если мы установим, что ваш сайт больше не нарушает правила, то снимем наложенные на него ограничения.

Если ваш сайт будет соответствовать правилам, принятые вручную меры будут отменены.

Вопросы о способах устранения этой проблемы можно задать на справочном форуме для веб-мастеров.


--------------------------------------------------------------------------------

Есть вопросы? Отправьте их нам. Не забудьте добавить следующий код сообщения: [WMT-11ХХХХ]
Google Inc. 1600 Amphitheatre Parkway Mountain View, CA 94043 | Unsubscribe.

Идем дальше:

На сайте самое смешное редиректов не было, все переходы были по клику.

Да забыл сказать, все рекламные сети были убраны остальные в период тестирования.

Дальше мы пошли анализировать статистику, и вот оно! Самая проста ЛИРУ (Раздел переходы на сайты) показала нам следующее:

[ATTACH]144941[/ATTACH]

Думаю стоит посмотреть всем в этот раздел, увидите кучу доменов похожих это как правило домены .xyz и домены из скриншота (mobivid.net
 - как раз работает по вап клику), так же есть куча доменов на формата х1х.ru (рушки, трехсимвольники по середине цифра)

Редиректы происходят не только вап клика, но и остального трафика, как правило это товарки либо другие системы где хоть что то заработать можно - трафик то бесплатный!

Как повторить эту ситуацию для юзера?

Вот вредоносные плагины: http://addoncrop.com/


Ставим желательно на винду, хром.

Так же в хром ставим плагин по смене юзер агента - их полно.

Открываем ЧИСТЫЙ браузер, ставим юзер агент например айфон или андроид телефон, и кликаем на любой сайте - срабатывает кликандер.

То, что накопали:

  • Возможная партнерка по этой теме: http://mecash.ru/
  • Возможный человек причастный к этому: /ru/users/1068085 (в подписи рефка с номером 2)
  • Вот его сообщения:
  • Хостятся на амазоне в облаке, думаю стоит писать туда абузы пусть банят (сам вредоносный код там хостится)
  • Для мобильных устройств - есть тоже плагины и приложения которые такое делают, пока ищем.

Что делать?

Тем кто получил бан - пишите в гугл и делайте эти аргументы, думаю если будет массовость таких писем - будет положительный результат.

Тем кто не получил еще бан - ставьте защиту!

Как поставить защиту?

Наш партнер LEOnidUKG (wapholding.com) Сделал мануал по защите:

LEOnidUKG:
Инструкция:

Скачиваем http://yourcommentit.ru/modulCSP.rar

1. Копируем все папки и файлы в корень сайта
2. На папку csp права на запись 777
3. в файле .htaccess пишем:

<IfModule mod_headers.c>
Header set Content-Security-Policy "default-src 'self';style-src 'unsafe-inline' *;frame-src *;img-src * data:;media-src *;font-src *;script-src 'self' 'unsafe-inline' 'unsafe-eval' https://oss.maxcdn.com http://yandex.st http://*.yandex.st ;report-uri /csp.php"
</IfModule>

-------------------------------

И теперь ответ на ваш вопрос: Что это вообще такое?!

Весь код нужно вставлять в 1 строчку, но для удобства понимая я разобью его и распишу, что и как. Этими строчками мы браузеру даём понять, что ему можно, а что нельзя.

Header set Content-Security-Policy - Устанавливает сам запрос
"default-src 'self'; - Все ресурсы (по-умолчанию) мы разрешаем со своего сайта, 'self' = наш текущий домен

style-src 'unsafe-inline' *; - CSS файлы пусть грузятся любые внешние и внутренние и всё что между <style></style>

img-src * data:; - Картинки мы размещаем грузить откуда угодно, всякие счётчики, иконки и т.п.

media-src *; - Видео файлы и аудио мы размещаем грузить откуда угодно, mp4 файлы в плеерах и т.п.

font-src *; - Шрифты разрешаем все

frame-src *; - встраивать iframe могут все, ибо это очень любят тизерки

Теперь самое интересное, JavaScript!

В примере написано:
script-src 'self' 'unsafe-inline' 'unsafe-eval' https://oss.maxcdn.com http://yandex.st http://*.yandex.st

Этим мы РАЗРЕШАЕМ:
1. 'self' - сами себе разрешаем
2. 'unsafe-inline' и 'unsafe-eval' - разрешаем выполнять скрипты внутри страниц нашего сайта т.е., что будет в <script>Ява код</script>
3. далее указаны через пробел домены с которых разрешено грузить JS скрипты. Тут обязательно должен быть домен от WAP партнёрки с которого грузится JS. Далее перечисляются все хосты от тизерок и других парнёрок.


report-uri /csp.php" - Это кто будет обрабатывать отчёты об ошибках. У нас есть два файла csp.php = полные отчёты о срабатывание и csp2.php = Урезанный, которые показывает только урлы, которые заблокировали и ещё часть техническую. Все файлы складываются в папку /csp/ и там хранятся.
По началу достаточно /csp.php, чтобы проверять всё ли нужное разрешено, смотреть логи не забанено ли что-то лишнее и т.п. Потом можно переключить на csp2.php чисто для фана посмотреть сколько урлов ломиться к вам. Или потом вообще убрать эту строчку report-uri /csp2.php

Вот и всё.

Более подробное расписание, что и как и дополнительно тут: http://zabolotskikh.com/tips/content-security-policy/

Думаю это спасет тысячи сайтов, извиняюсь перед теми у кого уже вылетели, что так долго искали причины:)

Так, что безопасные решения работают, а проблема крылась в другом.

ЗЫ От 50 000 хостов в сутки, если сайты вылетели по этой причине можете писать мне в личку - попробую помочь решить, будем писать массово и думаю поможет - бесплатно, но за то что бы вы работали только с нами!

ЗЗЫ Так же думаю заинтересуются этим персонажем, все в том числе и "злые дяди", это все таки как ни как вирус - а он трогает не только Ваши сайты, но и сайты всех гос учреждений.

Отпишите или лучше скрины сюда прикрепите у кого как по статистике "Переходы на сайты" - если эти домены и сколько их! Так же всем будет интересна информация - которую вы "накопаете":idea:

Всем удачи!:popcorn:

jpg 8f4cdb0250.jpg
Лучшие решения для WAP трафика от Лидеров рынка (http://richwap.ru/) ---Хочешь зарабатывать от 1 000 000 рублей в месяц?--- Купи себе ПП! Telegram: @iConvertS (https://t.me/iConvertS)
Convert$
На сайте с 19.12.2008
Offline
263
#1

Яндекс "очухался" сегодня: http://habrahabr.ru/company/yandex/blog/266061/

turbo1143
На сайте с 11.01.2012
Offline
44
#2

Из за этих ребят много сайтов пострадало своих :(

Тоже были эти переходы.

[+] Обучу созданию Кино СДЛ с 50к+ трафика http://zerocoolpro.biz/ (http://zerocoolpro.biz/) [+] Нужна помощь по кино сайтам ? Пиши ICQ 647366012 или Skype ftpzerocool
LEOnidUKG
На сайте с 25.11.2006
Offline
1749
#3

У меня как-то так :)

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
igoreshka
На сайте с 21.08.2007
Offline
89
#4

Молодцы, полезное для всех дело делаете.:)

Juddy ✌ ( http://juddy.biz )/ BuyMedia ( http://buymedia.biz )
0bevan
На сайте с 23.09.2008
Offline
239
#5

Тоже имею порядочно такого гамна.

Спасибо за разъяснение, по поводу такого слива трафика знал, но не догадывался, что Гугл банит за это именно меня :(

Не знаешь как попасть в ТОП? Тебе сюда yandex.ru/admin (http://yandex.ru/admin) ( ͡° ͜ʖ ͡° )
R
На сайте с 07.12.2012
Offline
27
#6
0bevan:
Тоже имею порядочно такого гамна.



Спасибо за разъяснение, по поводу такого слива трафика знал, но не догадывался, что Гугл банит за это именно меня :(

Вот и меня тоже банит за это походу, потому что отправлял уже чистый сайт, даже лайвинтернет с соц кнопками убирал, один фиг сайт не соответствует их требованиям, спасибо Царю, буду разбираться!!!

R
На сайте с 29.04.2011
Offline
65
#7
Convert$:
Открываем ЧИСТЫЙ браузер, ставим юзер агент например айфон или андроид телефон, и кликаем на любой сайте - срабатывает кликандер.

Если код срабатывает только на мобильных платформах, как это происходит? На мобильный телефон же нельзя поставить расширения, только на WEB-браузер. Что то тут не сходится :)

0bevan
На сайте с 23.09.2008
Offline
239
#8
restarter:
Если код срабатывает только на мобильных платформах, как это происходит?

Воруют всех юзеров и десктоп в том числе.

На андройд можно поставить что угодно :)

Convert$
На сайте с 19.12.2008
Offline
263
#9

restarter, я же написал:

Convert$:
Для мобильных устройств - есть тоже плагины и приложения которые такое делают, пока ищем.
*
На сайте с 08.09.2009
Offline
186
#10

Вообще-то эта тема уже почти год, а вы только очухались :)

На форуме целый топик на 60 страниц по этой теме /ru/forum/871141

И настраивается она индивидуально под каждый сайт! универсального кода нет иначе может что-то из размещенной рекламы не работать

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий