Вы как никогда правы. Сегодня тоже об этом подумал. Тем более ей пользуюсь все реже и реже, а отдаю предпочтение liveinternet.
Насчет sexastral - сегодня проверял все нормально после CSP, просматривал страницы и заметил, что некоторые спарсенные ролики открываются не через мой плеер, а подгружается emded плеер с сайта источника. Я задумался, так как когда нажимаешь кнопку play, в браузере открывается в новой вкладке сайт источника. Хоть там вроде и нет подписок, думаю, проблему я нашел
Спасибо, и вам!)))))---------- Добавлено 10.06.2016 в 09:48 ----------Итак, у нас новые ответы от самой бесполезного саппорта, наверное, во всем мире.
По сайту http://pornstatic.ru/ немного повеселее. Думаю, метка уберется.
Как я уже писал, сейчас нужно дождаться проверки сайта алгоритмами. Проверок понадобится несколько, алгоритмы должны убедиться, что ситуация на сайте со временем не меняется. Ориентировочно это занимает три-четыре недели.
--------------------------------------------------------
По сайту http://sexastral.com/ ситуация печальная. Сегодняшний ответ по данному сайту от Яндекс пришел одновременно с ответом по порнстатик и он настолько бесполезен, насколько бесполезно их существование:
Нет, ошибки в работе наших алгоритмов обнаружено не было.
Хотя я от них просил именно зайти с мобилы, сотовой сети, в общем, вручную проверить сайт. Спросил не из-за 301 редиректа, убирающего дубли я получаю фильтр, или из-за левых переходов, или просто алгоритм - шляпа. В общем, попросил дать информации, в итоге - отписка.
Делаю вывод: пора делать новые сайты)))
Советую поставить CSP защиту. Если грамотно ставить, то ни одного левого перехода не происходит. На испытуемых сайтах эти переходы прекратились сразу же и больше ни одного такого перехода. Лишним не будет, но, право, времени может отнять его настройка уйму. Я потратил часа три чтобы настроить его на сайте с граббером видео. Приходилось искать и добавлять новые источники и ip адреса. А тем более, что сайт уже существовал какое-то время и на нем было более 1500 видео, которые неизвестно откуда и как сграблены. Пришлось все их по-очереди открывать и проверять консолью network в браузере chrome, что заблочилось открывать в правилах csp
Извиняюсь заранее за мою самоуверенность, но взлом сайтов практически можно приравнять к нулю. Есть способы проверять их состояние в полуавтоматическом режиме. Кстати, тут чаще всего выручает логирование даты изменения файлов. Жаль, что я не программист. Любой код на js я понимаю, но слишком поверхностно, php знаю на уровне второго курса института =( . Хотелось бы сразу понимать код, который видишь на экране.
Это отступление.
По теме: думается мне, что выбраны определенные сайты с определенными характеристиками/посещалкой для тестирования их алгоритмов. Но что еще более вероятно, что при расчете данного алгоритма откуда-то вылазиет старая сохраненная копия сайта, когда действительно стоял код тизеров от teasernet. Там хоть и были отключены рекламодатели с оплатой по смс, но не исключено, что проскакивали такие сайты.
Полагаю, что вещь выборочная. Но хотелось бы, конечно, понять их логику (сомневаюсь, что она есть с их рандомом в выдаче). Вчера им снова написал, жду ответа. Раньше отвечали по pornstatic в течение нескольких часов, что говорит о приоритетности по траффику. Сейчас отвечают как придется. У меня есть также киносайт, на котором стоят те же тизеры, с теми же настройками (а еще и кликандер в десктопной и мобильной версии сайта (teasernet)), что и стояли когда-то на подопытных сайтах. Киносайту хоть бы что.
Яндекс ничего не берет. Требую от них примеров, страниц, кодов, файлов, хоть чего-то. Все так же намекаю им на неадекватный алгоритм, который косит сайты без очевидной причины.
Остался единственный вариант - сервер. Использую не хостинг, а именно сервер - железяку, которую мне собрали в Голландии. Но что странно, сайты проверены на более чем 100 разных устройствах и ни у кого не было ни рекламы, ни редиректов, что как бы говорит...
Тут логика есть. Они дали фильтр, которым ограничили вывод сайта в поиске с сотовой сети. А через модем сидеть никто не отменял. И да, действительно, в таком случае сайт не выводится. Обидно, конечно, что часть позиций сильно рухнула вместе с траффиком. 25000 посещений для меня было нормально с одного сайта, а теперь 3300.
А вообще, я им все намекаю на ошибку в алгоритмах....---------- Добавлено 10.06.2016 в 00:12 ----------Кстати, спасибо, что откликнулись и поддерживаете вместе со мной активность в данном посте
Она была во флеш-плеере и вела обычно на одни и те же сайты магазинов (там, извините, всякие интим принадлежности продавались). Но даже не в этом суть. Я месяц назад или более вообще пересобрал плеер и отключил возможность вывода рекламы. Но и сейчас они утверждают, что нарушения продолжаются. А вообще в мобильной версии появляется два видеоплеера: один на flash из десктопной версии и плеер html5, в котором никогда не было рекламы. Проста настолько редко выводилась реклама в плеере десктопной версии, что на момент очередной переписки с платонами и получением нарушения, я забыл про это.---------- Добавлено 09.06.2016 в 23:51 ----------Кстати, дополню.
Сегодня я вышел в интернет с сим-карты СПБ МТС, с нетбука, подменив user agent с помощью user agent switcher и включив параллельно второй сниффер. В них не отображались данные с подгрузкой левых скриптов или обращения к сторонним ресурсам. Из лишнего только данные счетчиков (я сейчас говорю о сайте pornstatic.ru). Это top100 rambler, google-analytics и ya metrika. Также подгружается один js скрипт с сайта гугл, это webfont.js. В нем нет ничего подозрительного и, в принципе, от него можно отказаться. В css ссылок на сторонние ресурсы нет---------- Добавлено 09.06.2016 в 23:54 ----------Вот главный .htaccess
<IfModule mod_expires.c>
ExpiresActive On
ExpiresByType application/javascript "access plus 7 days"
ExpiresByType text/javascript "access plus 7 days"
ExpiresByType text/css "access plus 7 days"
ExpiresByType image/gif "access plus 7 days"
ExpiresByType image/jpeg "access plus 7 days"
ExpiresByType image/png "access plus 7 days"
ExpiresByType image/x-icon "access plus 7 days"
</IfModule>
<IfModule mod_php5.c>
php_value max_execution_time 259200000
php_value memory_limit 512M
DirectoryIndex index.php
RewriteEngine On
# Редиректы
RewriteRule ^page/(.*)$ index.php?cstart=$1 [L]
# Сам пост
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&cstart=$5&news_name=$6&seourl=$6 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page,([0-9]+),(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/print:page,([0-9]+),(.*).html(/?)+$ engine/print.php?subaction=showfull&year=$1&month=$2&day=$3&news_page=$4&news_name=$5&seourl=$5 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/(.*).html(/?)+$ index.php?subaction=showfull&year=$1&month=$2&day=$3&news_name=$4&seourl=$4 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$4&news_page=$2&cstart=$3&seourl=$5&seocat=$1 [L]
RewriteRule ^([^.]+)/page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$2&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$2&newsid=$3&seourl=$4&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*)\.\.(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]
RewriteRule ^([^.]+)/([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&seourl=$3&seocat=$1 [L]
RewriteRule ^page,([0-9]+),([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$3&news_page=$1&cstart=$2&seourl=$4 [L]
RewriteRule ^page,([0-9]+),([0-9]+)-(.*).html(/?)+$ index.php?newsid=$2&news_page=$1&seourl=$3 [L]
RewriteRule ^print:page,([0-9]+),([0-9]+)-(.*).html(/?)+$ engine/print.php?news_page=$1&newsid=$2&seourl=$3 [L]
RewriteRule ^([0-9]+)-(.*)\.\.(/?)+$ index.php?newsid=$1&seourl=$2 [L]
RewriteRule ^([0-9]+)-(.*).html(/?)+$ index.php?newsid=$1&seourl=$2 [L]
# За день
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2&day=$3 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&day=$3&cstart=$4 [L]
# За весь месяц
RewriteRule ^([0-9]{4})/([0-9]{2})(/?)+$ index.php?year=$1&month=$2 [L]
RewriteRule ^([0-9]{4})/([0-9]{2})/page/([0-9]+)(/?)+$ index.php?year=$1&month=$2&cstart=$3 [L]
# Вывод за весь год
RewriteRule ^([0-9]{4})(/?)+$ index.php?year=$1 [L]
RewriteRule ^([0-9]{4})/page/([0-9]+)(/?)+$ index.php?year=$1&cstart=$2 [L]
# вывод отдельному тегу
RewriteRule ^tags/([^/]*)(/?)+$ index.php?do=tags&tag=$1 [L]
RewriteRule ^tags/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=tags&tag=$1&cstart=$2 [L]
# поиск по доп полям
RewriteRule ^xfsearch/([^/]*)(/?)+$ index.php?do=xfsearch&xf=$1 [L]
RewriteRule ^xfsearch/([^/]*)/page/([0-9]+)(/?)+$ index.php?do=xfsearch&xf=$1&cstart=$2 [L]
# вывод для отдельного юзера
RewriteRule ^user/([^/]*)/rss.xml$ engine/rss.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)(/?)+$ index.php?subaction=userinfo&user=$1 [L]
RewriteRule ^user/([^/]*)/page/([0-9]+)(/?)+$ index.php?subaction=userinfo&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news(/?)+$ index.php?subaction=allnews&user=$1 [L]
RewriteRule ^user/([^/]*)/news/page/([0-9]+)(/?)+$ index.php?subaction=allnews&user=$1&cstart=$2 [L]
RewriteRule ^user/([^/]*)/news/rss.xml(/?)+$ engine/rss.php?subaction=allnews&user=$1 [L]
# вывод всех последних новостей
RewriteRule ^lastnews(/?)+$ index.php?do=lastnews [L]
RewriteRule ^lastnews/page/([0-9]+)(/?)+$ index.php?do=lastnews&cstart=$1 [L]
# вывод в виде каталога
RewriteRule ^catalog/([^/]*)/rss.xml$ engine/rss.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)(/?)+$ index.php?catalog=$1 [L]
RewriteRule ^catalog/([^/]*)/page/([0-9]+)(/?)+$ index.php?catalog=$1&cstart=$2 [L]
# вывод непрочитанных статей
RewriteRule ^newposts(/?)+$ index.php?subaction=newposts [L]
RewriteRule ^newposts/page/([0-9]+)(/?)+$ index.php?subaction=newposts&cstart=$1 [L]
# вывод избранных статей
RewriteRule ^favorites(/?)+$ index.php?do=favorites [L]
RewriteRule ^user/([^/]*)/favorites(/?)+$ index.php?do=favorites&user=$1 [L]
RewriteRule ^favorites/page/([0-9]+)(/?)+$ index.php?do=favorites&cstart=$1 [L]
RewriteRule ^rules.html$ index.php?do=rules [L]
RewriteRule ^statistics.html$ index.php?do=stats [L]
RewriteRule ^addnews.html$ index.php?do=addnews [L]
RewriteRule ^rss.xml$ engine/rss.php [L]
RewriteRule ^sitemap.xml$ uploads/sitemap.xml [L]
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^([^.]+)/page/([0-9]+)(/?)+$ index.php?do=cat&category=$1&cstart=$2 [L]
RewriteRule ^([^.]+)/?$ index.php?do=cat&category=$1 [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^([^.]+)/rss.xml$ engine/rss.php?do=cat&category=$1 [L]
RewriteRule ^page,([0-9]+),([^/]+).html$ index.php?do=static&page=$2&news_page=$1 [L]
RewriteRule ^print:([^/]+).html$ engine/print.php?do=static&page=$1 [L]
RewriteRule ^([^/]+).html$ index.php?do=static&page=$1 [L]
#RewriteCond %{REQUEST_URI} !\.html$ [NC]
#RewriteCond %{REQUEST_FILENAME} !-f
##RewriteCond %{REQUEST_FILENAME} !-d
#RewriteRule ^([0-9]+)-(.*)$ http://site.ru/$1-$2.html [R=301,L]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTP/
RewriteRule ^index\.php$ / [R=301,L]
RewriteRule ^(.*)page/1(/?)+$ /$1 [L,R=301]
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http(s)?://(www\.)?pornstatic.ru [NC]
RewriteRule \.(jpg|jpeg|png|gif|mp4|flv)$ - [NC,F,L]
Options +FollowSymLinks
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
php_value upload_max_filesize 5000M
php_value post_max_size 5000M
php_value max_execution_time 500
php_flag display_errors off
php_value max_input_time 5000
На других сайтах DLE использую тот же htaccess, немного измененный (некоторые uri доработаны под сайты).
Движок dle не нулленый, лицензия---------- Добавлено 09.06.2016 в 23:55 ----------Рекламы на сайтах нет никакой. Не бойтесь на них заходить с любого устройства. Буду рад любым подсказкам
