Обман пользователей мобильного интернета, позиции сайта в результатах поиска понижены

12 3
xschneider
На сайте с 27.05.2016
Offline
73
4614

Добрый день, форумчане!

Несколько лет сидел на вашем форуме незарегистрированным, просто читал свежие темы и следил за апдейтами. Но сейчас появилась причина зарегистрироваться, так как впервые появилась проблема, которую никак не удается решить. Естественно, проблема связана с поисковой системой Яндекс (кто бы сомневался). Заключается она в фильтре сразу на двух сайтах. Фильтр появился на них одновременно - 25 марта и присутствует до сих пор.

Сейчас в меня полетят камни, но все же: оба сайта адалт-тематики. (sexastral.com и pornstatic.ru). Яндекс не жалует сайты по причине, якобы "Страницы сайта исключены из поиска в мобильных сетях". На первом сайте недавно добавилось: "Позиции сайта в результатах поиска понижены, страницы исключены из поиска в мобильных сетях". На сайте рекламы нет. Стояли тизеры, но их убрал сразу же после второго ответа платонов, который был следующим:

Благодарим за письмо.
Мы проверим все ли сейчас в порядке с Вашим сайтом и сообщим Вам..

Следующий ответ:

Мы проверили, нарушения на Вашем сайте все еще фиксируются, поэтому санкции пока не сняты. Проверяйте тщательнее всю тизерную рекламу.

Далее:

Да, нарушения на сайте все еще фиксируются.

После:

Алгоритмы не ошиблись. Проверяйте, пожалуйста, плеер.

(Каюсь, про рекламу в плеере забыл. Но там была обычная рекла от тизернет-тьюбконтекст).

Последнее письмо по сайту порнстатик:

Наши алгоритмы регулярно мониторят сайты, внесенные изменения они отследят автоматически. Им нужно несколько раз проверить Ваш сайт и убедиться, что нарушений на нем действительно нет, и что эта ситуация со временем не меняется. Если никаких нареканий со стороны алгоритмов не будет, то в течение месяца ограничения будут сняты.

Интересно вот еще что:

В очередной раз нажал кнопку "я все исправил". На следующий день на сайте сексастрал фатальная ошибка исчезла. Я спокойненько занялся оффлайн делами, а потом лег спать. Утром я удивился, так как вновь обнаружил данную ошибку, но с уже расширенной формулировкой: Позиции сайта в результатах поиска понижены, страницы исключены из поиска в мобильных сетях.

Напоследок мое сообщение и платона по этому сайту:

Адрес сайта: sexastral.com

Добрый день!

С нарушением, которое якобы присутствует на данном сайте происходит интересная картина, которую можно увидеть на скриншоте. Примерно опишу то, что вижу я на нем:

было нарушение на сайте, неделю назад была снята абсолютно вся реклама, в плеере ее не было, оставалось только снять тизеры. Тизеры сняты, кнопка нажата, и о боже, светлый лучик надежды от Яндекс - нарушение исчезло на следующий день. Но Яндекс.Поиск не был бы яндексом, если бы не проснувшись сегодня утром я не обнаружил снова это же нарушение, но с измененным текстом. Теперь оно гласит: Позиции сайта в результатах поиска понижены, страницы исключены из поиска в мобильных сетях.

Как так-то?

Спасибо, уже бомбит

Ответ:

Нарушения, описанные на странице https://yandex.ru/blog/webmaster/20239 , были повторно зафиксированы на Вашем сайте, поэтому он вновь понижен в основном поиске и исключен из мобильного. Рекомендуем еще раз тщательно проверить сайт и устранить их.

----------------------------------------

Забыл уточнить: сегодня ночью инжектировал в движок Content Security Police (CSP), потому что не исключаю, что "замечательный" Яндекс может карать за левые переходы, которые я вижу в метрике. Всем известно, что эти переходы создаются зараженными браузерами пользователей, у них поменяются элементы сайта на рекламу.

Прошу помочь с сайтом/ами, так как уже не первый месяц бьюсь. За все это время я так и не словил редиректов. Сразу напишу, то сайты проверены манулом, ай-болитом, большАя часть файлов проверена вручную на хостинге, также проверял из сотовой сети с телефона, десктопа, проверял с помощью подмены user-agent.

freeman12
На сайте с 24.08.2008
Offline
92
#1
Алгоритмы не ошиблись. Проверяйте, пожалуйста, плеер.
(Каюсь, про рекламу в плеере забыл. Но там была обычная рекла от тизернет-контекстно).

Интересно они вам ответили потому что, если заходить на сайт с мобильного телефона, то данная реклама от тьюбконтекст просто не срабатывает, то есть её не видно в плеере. Ну по крайней мере на Андроиде и Виндоус Фоун. Вы сами то проверяли, показывается ли у вас данная реклама в плеере при заходе с телефона?

xschneider
На сайте с 27.05.2016
Offline
73
#2

Она была во флеш-плеере и вела обычно на одни и те же сайты магазинов (там, извините, всякие интим принадлежности продавались). Но даже не в этом суть. Я месяц назад или более вообще пересобрал плеер и отключил возможность вывода рекламы. Но и сейчас они утверждают, что нарушения продолжаются. А вообще в мобильной версии появляется два видеоплеера: один на flash из десктопной версии и плеер html5, в котором никогда не было рекламы. Проста настолько редко выводилась реклама в плеере десктопной версии, что на момент очередной переписки с платонами и получением нарушения, я забыл про это.

---------- Добавлено 09.06.2016 в 23:51 ----------

Кстати, дополню.

Сегодня я вышел в интернет с сим-карты СПБ МТС, с нетбука, подменив user agent с помощью user agent switcher и включив параллельно второй сниффер. В них не отображались данные с подгрузкой левых скриптов или обращения к сторонним ресурсам. Из лишнего только данные счетчиков (я сейчас говорю о сайте pornstatic.ru). Это top100 rambler, google-analytics и ya metrika. Также подгружается один js скрипт с сайта гугл, это webfont.js. В нем нет ничего подозрительного и, в принципе, от него можно отказаться. В css ссылок на сторонние ресурсы нет

---------- Добавлено 09.06.2016 в 23:54 ----------

Вот главный .htaccess

<IfModule mod_expires.c>

ExpiresActive On

ExpiresByType application/javascript "access plus 7 days"

ExpiresByType text/javascript "access plus 7 days"

ExpiresByType text/css "access plus 7 days"

ExpiresByType image/gif "access plus 7 days"

ExpiresByType image/jpeg "access plus 7 days"

ExpiresByType image/png "access plus 7 days"

ExpiresByType image/x-icon "access plus 7 days"

</IfModule>

<IfModule mod_php5.c>

php_value max_execution_time 259200000

php_value memory_limit 512M

</IfModule>

DirectoryIndex index.php

RewriteEngine On

# Редиректы

RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]

# Сам пост

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]

RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]

RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]

RewriteRule ^([^.]+)/([0-9]+)-(.*)\.\.(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]

RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]

RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]

RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]

RewriteRule ^([0-9]+)-(.*)\.\.(/?)+$ index.php?newsid=$1&seourl=$2 [L]

RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1&seourl=$2 [L]

# За день

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]

# За весь месяц

RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]

RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]

# Вывод за весь год

RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]

RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]

# вывод отдельному тегу

RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]

RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]

# поиск по доп полям

RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]

RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]

# вывод для отдельного юзера

RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]

RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]

RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]

RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]

# вывод всех последних новостей

RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]

RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]

# вывод в виде каталога

RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]

RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]

# вывод непрочитанных статей

RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]

RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]

# вывод избранных статей

RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]

RewriteRule ^user/([^/]*)/favorites(/?)+$ index.php?do=favorites&user=$1 [L]

RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]

RewriteRule ^rules.html$ index.php?do=rules [L]

RewriteRule ^statistics.html$ index.php?do=stats [L]

RewriteRule ^addnews.html$ index.php?do=addnews [L]

RewriteRule ^rss.xml$ engine/rss.php [L]

RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]

RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]

RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]

RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]

#RewriteCond %{REQUEST_URI} !\.html$ [NC]

#RewriteCond %{REQUEST_FILENAME} !-f

##RewriteCond %{REQUEST_FILENAME} !-d

#RewriteRule ^([0-9]+)-(.*)$ http://site.ru/$1-$2.html [R=301,L]

RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/

RewriteRule ^index\.php$ / [R=301,L]

RewriteRule ^(.*)page/1(/?)+$ /$1 [L,R=301]

RewriteCond %{HTTP_REFERER} !^$

RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?pornstatic.ru [NC]

RewriteRule \.(jpg|jpeg|png|gif|mp4|flv)$ - [NC,F,L]

Options +FollowSymLinks

RewriteEngine On

RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]

RewriteRule ^(.*)$ http://%1/$1 [R=301,L]

php_value upload_max_filesize 5000M

php_value post_max_size 5000M

php_value max_execution_time 500

php_flag display_errors off

php_value max_input_time 5000

На других сайтах DLE использую тот же htaccess, немного измененный (некоторые uri доработаны под сайты).

Движок dle не нулленый, лицензия

---------- Добавлено 09.06.2016 в 23:55 ----------

Рекламы на сайтах нет никакой. Не бойтесь на них заходить с любого устройства. Буду рад любым подсказкам

freeman12
На сайте с 24.08.2008
Offline
92
#3
Проста настолько редко выводилась реклама в плеере десктопной версии, что на момент очередной переписки с платонами и получением нарушения, я забыл про это.

Так если у вас выводилась реклама в декстопной версии сайта, то чего они тогда вообще лезут с баном мобильной версии?)) Не находите это странным? Получается они дают вам мобильное нарушение за декстопное, как-то так что ли?))

xschneider
На сайте с 27.05.2016
Offline
73
#4
freeman12:
Так если у вас выводилась реклама в декстопной версии сайта, то чего они тогда вообще лезут с баном мобильной версии?)) Не находите это странным? Получается они дают вам мобильное нарушение за декстопное, как-то так что ли?))

Тут логика есть. Они дали фильтр, которым ограничили вывод сайта в поиске с сотовой сети. А через модем сидеть никто не отменял. И да, действительно, в таком случае сайт не выводится. Обидно, конечно, что часть позиций сильно рухнула вместе с траффиком. 25000 посещений для меня было нормально с одного сайта, а теперь 3300.

А вообще, я им все намекаю на ошибку в алгоритмах....

---------- Добавлено 10.06.2016 в 00:12 ----------

Кстати, спасибо, что откликнулись и поддерживаете вместе со мной активность в данном посте

freeman12
На сайте с 24.08.2008
Offline
92
#5

Вообще изначально начались у них массовые баны по этому фильтру как раз в начале Июня прошлого года и бан давался за авто-редиректы и клик-андеры, но сейчас они пошли ещё дальше и уже дают баны за обычные тизеры, реклама которых ведёт на платные подписки.

Опять же тут некоторые писали, что получали баны на обычные сайты (не адалт) на которых вообще никогда не было никакой рекламы (естественно и вирусов тоже)!

Опять же, если посмотреть адалт сайты, которые есть в мобильном поиске, то на них есть и тизерная реклама, а на некоторых даже и клик-андеры и поп-андеры и им нормально, что называется живётся.

Поэтому логику Яндекса конкретно в этом вопросе понять сложно.

xschneider
На сайте с 27.05.2016
Offline
73
#6
freeman12:
Вообще изначально начались у них массовые баны по этому фильтру как раз в начале Июня прошлого года и бан давался за авто-редиректы и клик-андеры, но сейчас они пошли ещё дальше и уже дают баны за обычные тизеры, реклама которых ведёт на платные подписки.
Опять же тут некоторые писали, что получали баны на обычные сайты (не адалт) на которых вообще никогда не было никакой рекламы (естественно и вирусов тоже)!
Опять же, если посмотреть адалт сайты, которые есть в мобильном поиске, то на них есть и тизерная реклама, а на некоторых даже и клик-андеры и поп-андеры и им нормально, что называется живётся.
Поэтому логику Яндекса конкретно в этом вопросе понять сложно.

Полагаю, что вещь выборочная. Но хотелось бы, конечно, понять их логику (сомневаюсь, что она есть с их рандомом в выдаче). Вчера им снова написал, жду ответа. Раньше отвечали по pornstatic в течение нескольких часов, что говорит о приоритетности по траффику. Сейчас отвечают как придется. У меня есть также киносайт, на котором стоят те же тизеры, с теми же настройками (а еще и кликандер в десктопной и мобильной версии сайта (teasernet)), что и стояли когда-то на подопытных сайтах. Киносайту хоть бы что.

Яндекс ничего не берет. Требую от них примеров, страниц, кодов, файлов, хоть чего-то. Все так же намекаю им на неадекватный алгоритм, который косит сайты без очевидной причины.

Остался единственный вариант - сервер. Использую не хостинг, а именно сервер - железяку, которую мне собрали в Голландии. Но что странно, сайты проверены на более чем 100 разных устройствах и ни у кого не было ни рекламы, ни редиректов, что как бы говорит...

freeman12
На сайте с 24.08.2008
Offline
92
#7

И самое печальное, что они в большинстве случаев не говорят конкретную причину бана, а отвечают в стиле "К сожалению ввиду специфики работы наших алгоритмов мы не можем назвать вам причину"

Хотя казалось бы почему бы и не сказать причину, что это реклама виновата, а может и на самом деле взлом сайта. Почему бы и не помочь веб-мастеру, если уж они ввели данный алгоритм, который "всё видит".

А может потому и не называют причину, потому что сами точно не знают))

xschneider
На сайте с 27.05.2016
Offline
73
#8
freeman12:
И самое печальное, что они в большинстве случаев не говорят конкретную причину бана, а отвечают в стиле "К сожалению ввиду специфики работы наших алгоритмов мы не можем назвать вам причину"
Хотя казалось бы почему бы и не сказать причину, что это реклама виновата, а может и на самом деле взлом сайта. Почему бы и не помочь веб-мастеру, если уж они ввели данный алгоритм, который "всё видит".
А может потому и не называют причину, потому что сами точно не знают))

Извиняюсь заранее за мою самоуверенность, но взлом сайтов практически можно приравнять к нулю. Есть способы проверять их состояние в полуавтоматическом режиме. Кстати, тут чаще всего выручает логирование даты изменения файлов. Жаль, что я не программист. Любой код на js я понимаю, но слишком поверхностно, php знаю на уровне второго курса института =( . Хотелось бы сразу понимать код, который видишь на экране.

Это отступление.

По теме: думается мне, что выбраны определенные сайты с определенными характеристиками/посещалкой для тестирования их алгоритмов. Но что еще более вероятно, что при расчете данного алгоритма откуда-то вылазиет старая сохраненная копия сайта, когда действительно стоял код тизеров от teasernet. Там хоть и были отключены рекламодатели с оплатой по смс, но не исключено, что проскакивали такие сайты.

freeman12
На сайте с 24.08.2008
Offline
92
#9

У меня например они забанили один из адалт сайтов, на котором вообще несколько последних месяцев не было никакой рекламы! Он не обновляется и просто что называется висит так для красоты)). При этом на данном моём сервере есть другие сайты на таком же движке, такой же тематики и с ними всё нормально и никогда подобных проблем не было, так что взлом даже по этому признаку можно исключить!

Я уже убрал с него даже соц. кнопки, не знаю что ещё удалить - наверное осталось только сам сайт)) - это был чёрный юмор)

А Яндекс всё равно какие-то там подозрительные переходы находит...

В общем, как говорит один мой знакомый - просто забей))

xschneider
На сайте с 27.05.2016
Offline
73
#10
freeman12:
У меня например они забанили один из адалт сайтов, на котором вообще несколько последних месяцев не было никакой рекламы! Он не обновляется и просто что называется висит так для красоты)). При этом на данном моём сервере есть другие сайты на таком же движке, такой же тематики и с ними всё нормально и никогда подобных проблем не было, так что взлом даже по этому признаку можно исключить!
Я уже убрал с него даже соц. кнопки, не знаю что ещё удалить - наверное осталось только сам сайт)) - это был чёрный юмор)
А Яндекс всё равно какие-то там подозрительные переходы находит...
В общем, как говорит один мой знакомый - просто забей))

Советую поставить CSP защиту. Если грамотно ставить, то ни одного левого перехода не происходит. На испытуемых сайтах эти переходы прекратились сразу же и больше ни одного такого перехода. Лишним не будет, но, право, времени может отнять его настройка уйму. Я потратил часа три чтобы настроить его на сайте с граббером видео. Приходилось искать и добавлять новые источники и ip адреса. А тем более, что сайт уже существовал какое-то время и на нем было более 1500 видео, которые неизвестно откуда и как сграблены. Пришлось все их по-очереди открывать и проверять консолью network в браузере chrome, что заблочилось открывать в правилах csp

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий