Скрипт клоаки

ro--ot
На сайте с 18.12.2009
Offline
164
#41

armor666, юзай iframe-2, там код покруче, будет считать все 100%

one, странно конечно, там основная проверка идет по юзерагенту, попробуй разместить на морде вот этот код:

<?php

if(isset($_SERVER['HTTP_X_FORWARDED_FOR']) && $_SERVER['HTTP_X_FORWARDED_FOR']){

if(strpos($_SERVER['HTTP_X_FORWARDED_FOR'],".")>0 && strpos($_SERVER['HTTP_X_FORWARDED_FOR'],",")>0){

$ip = explode(",",$_SERVER['HTTP_X_FORWARDED_FOR']);

$ipuser = trim($ip[0]);

}

elseif(strpos($_SERVER['HTTP_X_FORWARDED_FOR'],".")>0 && strpos($_SERVER['HTTP_X_FORWARDED_FOR'],",")===false){

$ipuser = trim($_SERVER['HTTP_X_FORWARDED_FOR']);

}

}

if (!isset($ipuser)){

$ipuser = $_SERVER['REMOTE_ADDR'];

}

$ipuser = trim($ipuser);

$useragent = $_SERVER['HTTP_USER_AGENT'];

if (stristr($useragent, 'google')) {

$bot = 'google';

}

if (stristr($useragent, 'yandex')) {

$bot = 'yandex';

}

if (!empty($bot)) {

file_put_contents('log.txt', $ipuser.' || '.$bot.' || '.$useragent."\n", FILE_APPEND | LOCK_EX);

}

?>

Он будет искать в юзерагентах слово "google" или "yandex", если найдет - создаст файл log.txt вот с таким содержимым:

127.0.0.1 || google || Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

127.0.0.1 || yandex || Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

zTDS - бесплатная ТДС (https://t.me/z_tds)
one
На сайте с 15.04.2007
Offline
336
one
#42

Поставил, позже отпишусь.

Кстати, iframe2 тоже не передает ключь как и редирект что писал выше.

---------- Добавлено 16.12.2015 в 10:02 ----------

Да, этот код пишет как положено.

37.140.141.39 || yandex || Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

5.255.253.173 || yandex || Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)

5.255.253.173 || yandex || Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

5.255.253.150 || yandex || Mozilla/5.0 (compatible; YandexBot/3.0; +http://yandex.com/bots)

178.154.243.117 || yandex || Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)

5.255.253.181 || yandex || Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)

130.193.50.30 || yandex || Mozilla/5.0 (iPhone; CPU iPhone OS 8_1 like Mac OS X) AppleWebKit/600.1.4 (KHTML, like Gecko) Version/8.0 Mobile/12B411 Safari/600.1.4 (compatible; YandexMobileBot/3.0; +http://yandex.com/bots)

А скрипт клоаки нет, в bots.txt складывает. Кстати, в google.txt и yandex.txt что идут со скриптом лежат IP каких то левых ботов. Где то глюк.

Решения для автоматизации действий ( https://www.facebook.com/automationstudio20/ ) в интернете.
armor666
На сайте с 17.02.2011
Offline
73
#43
ro--ot:
armor666, юзай iframe-2, там код покруче, будет считать все 100%

если юзать iframe-2, то появляется лишний второй ползунок прокрутки, который при использовании рвет фрейм

つ ◕_◕ ༽つ
ro--ot
На сайте с 18.12.2009
Offline
164
#44
one:
Кстати, в google.txt и yandex.txt что идут со скриптом лежат IP каких то левых ботов. Где то глюк.

Я эти IP собирал с СДЛов отдельным скриптом, его нет в комплекте с клоакой, если кто то парсил сайты с юзерагентом как у гугла или яндекса он попал в списки.

armor666, перед строчкой

document.write(\'<div id="slashpage" style="position: absolute; z-index: 10000; color: white; background-color:white">\');

добавь

document.write(\'<style>body {overflow: hidden;}</style>\');

armor666
На сайте с 17.02.2011
Offline
73
#45

спасибо, стало нормально, посмотрим будет ли считать стату

int_0x80
На сайте с 20.03.2011
Offline
41
#46

У меня похожее решение на http://www.tornadoweb.org/en/stable/ + redis. Выдерживает 200к уников (больше не тестил) на $5 сервере и при этом CPU load average ~5%.

Не помешало бы хранить ip ботов в cidr, тем самым ускорить скорость обработки.

offtop

https://dl.dropboxusercontent.com/u/24923601/123.png

http://lurkmore.so/images/5/5a/User_20301_QNM7KERS.jpg

one
На сайте с 15.04.2007
Offline
336
one
#47
ro--ot:
Я эти IP собирал с СДЛов отдельным скриптом, его нет в комплекте с клоакой, если кто то парсил сайты с юзерагентом как у гугла или яндекса он попал в списки.

Понятно. А с передачей кея что? Я один вижу что не передается?

InspectorU
На сайте с 12.05.2015
Offline
17
#48

У меня в скрипте ТДС тоже не передаётся.

ro--ot
На сайте с 18.12.2009
Offline
164
#49

one, при каком редиректе не передается?

one
На сайте с 15.04.2007
Offline
336
one
#50
ro--ot:
one, при каком редиректе не передается?

Простой редирект и frame2.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий