из какого источника получили информацию о запросах? (лог сайта на сервере, метрика, пр.)
вряд ли сайт находится в топе выдачи по ним..
значит запросы с подменой Referer сгенерированы, либо
а) на стороне клиента в браузере на js, либо
б) на сервере конкурента, либо
с) биржа
a) сомневаюсь что у конкурентов нашлось своих 250-300 пользователей на разных IP готовых генерировать
в своих браузерах такие запросы с подменой Referer..
возможно один человек занимается генерацией запросов в браузере
с подменой Referer и Usragent с ограниченного кол-ва IP..
(этот метод требует немало времени, на ПФ не повлияет, потому как в здравом уме никто заниматься таким не будет)
б) выполняется на сервере конкурента скрипт который меняет Usragent,
генерирует Referer (как буд-то посетитель из выдачи) подставляя "site.ru - кидалово и иди на..й владелец сайта",
отправляет запросы через IP прокси..
(метод требует время 1 раз для разработки скрипта, к ПФ отношения не имеет)
с) через биржу заданий, где можно указать любой Referer и 250-300 школьников на разных IP и браузерах
с радостью сделают переход на сайт за пару центов.. тем самым добавляя в статистику запросы которые вас не устраивают..
накрутка ПФ.. хм.. можно сказать и да и нет..
(за $1 можно отослать на сайт несколько сотен уников "из поисковика" с некрасивыми запросами)
$str = file_get_contents('http://finance.yahoo.com/q/op?s=GDX');$trName = array(); // массив имен столбцов таблиц$haystack = array(); // массив данных таблицif (preg_match_all("~<table[^>]*>\s*<caption>\s*([a-z]+)\s*</caption>(.+?)<tbody>(.+?)</tbody>.*?</table>~is", $str, $matches)) { /* найдены таблицы */ foreach ($matches[3] as $k => $table) { // имена столбцов таблиц (если нужно) if (preg_match_all("~(<div class=['\"]D-ib[^'\"]*['\"]>([^<]*)</div>|<th[^>]*>([a-z\s]+)</th>)~is", $matches[2][$k], $th)) { foreach ($th[2] as $k2 => $name) { $thName[$matches[1][$k]][$k2] = $name ? $name : $th[3][$k2]; } } // если не нужно, блок IF удалить/закомментировать /* разбор таблиц */ if (preg_match_all("~<tr[^>]*>(.+?)</tr>~is", $table, $tr)) { foreach ($tr[1] as $k2 => $td) { if (preg_match_all("~<td[^>]*>.+?>([a-z0-9\.%]+)</[^>]+>.+?</td>~is", $td, $data)) { // добавляем разобранную в массив строку в общий массив данных $haystack[$matches[1][$k]][$k2] = $data[1]; } } } }}/* результат; время выполнения без file_get_contents = 0.00600 sec */print_r($haystack);
скрипт парсит обе таблицы, можно сказать - сколько угодно таких таблиц на странице..
на выходе многомерный массив таблиц-данных вида:
[Calls] => Array ( [0] => Array ( [0] => 8.00 [1] => GDX150320C00008000 [2] => 14.50 [3] => 0.00 [4] => 0.00 [5] => 0.00 [6] => 0.00% [7] => 10 [8] => 5 [9] => 0.00% ) ... [38] => Array ( [0] => 38.00 [1] => GDX150320C00038000 [2] => 0.13 [3] => 0.00 [4] => 0.13 [5] => 0.00 [6] => 0.00% [7] => 3 [8] => 161 [9] => 306.25% ) )[Puts] => Array ( [0] => Array ( [0] => 10.00 [1] => GDX150320P00010000 [2] => 0.01 [3] => 0.00 [4] => 0.00 [5] => 0.00 [6] => 0.00% [7] => 37 [8] => 4 [9] => 50.00% ) ... [38] => Array ( [0] => 38.00 [1] => GDX150320P00038000 [2] => 20.10 [3] => 0.00 [4] => 0.00 [5] => 0.00 [6] => 0.00% [7] => 12 [8] => 0 [9] => 0.00% ) ))Имена столбцов таблиц в переменной $thName = Array( [Calls] => Array ( [0] => Strike [1] => Contract Name [2] => Last [3] => Bid [4] => Ask [5] => Change [6] => %Change [7] => Volume [8] => Open Interest [9] => Implied Volatility ) [Puts] => Array ( [0] => Strike [1] => Contract Name [2] => Last [3] => Bid [4] => Ask [5] => Change [6] => %Change [7] => Volume [8] => Open Interest [9] => Implied Volatility ))
Берем данные нужной таблиц как $haystack['Calls'], $haystack['Puts']
или 2 массива
$Calls = $haystack['Calls'];
$Puts= $haystack['Puts'];
vantala, обращайтесь ели нужно.. рыба к пиву есть..
времени прошло недостаточно (ежели не использовали агрессивные методы индексации)
хорошо
Вообще пробовали так?
или поточнее?
... не за что.Rimays, сори, с таким (облачным) набором входящей информации вам могут помочь, разве что, вангующие..
/ru/forum/comment/13480856
Подстановка (без редиректа):
RewriteEngine OnRewriteBase /RewriteRule ^okna_dveri/$ /html/okna/index.php [L]RewriteRule ^okna_dveri/(.+)$ /html/okna/$1 [L,QSA]
сработает если запрошенное /okna_dveri/имя_файла
Apache найдет в директории /html/okna/имя_файла
Если меню визуально осталось прежним как до начала работ, значит обёртка меню в js была изначально.. итого..
1) визуально меню осталось как было
2) ссылки категорий от бота пс не скрыты
Тогда резонно задать себе вопрос..
А что-же тогда выполнено из тех-задания? (представленного вами) 🙄
э-э-эх!.. мне б таких чудесных клиентов :) да побольше ☝ .. уж яб тоХда 🍿 ...
if (preg_match("~^/page/[^/]+/foto/odin/$~i", $_SERVER['REQUEST_URI'])) { header("HTTP/1.1 301 Moved Permanently"); header("Location: http://".$_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI']; /* или "http://www.".$_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI']; * или "http://".$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI']; * в последнем www не нужно, но "зловред" может передать левый HTTP_HOST */ exit();}
в коде страницы видно 268 ссылок меню -> готовых принять вес текущей страницы..
значит когда бот скачает страницу, он увидит все ссылки меню.. и может ходить по ним, а также учитывать либо нет..
меню "свернули" в js для пользователей, ботам ссылки доступны..
потому видимо, задание выполнено с точностью до наоборот.
самое простое - пункт меню браузера "посмотреть код страницы" (Ctrl+U в Chrome)..
видно в коде вам, видно и пс.
p.s. <noindex rel="nofollow">... теоретически: <noindex> - яндекс для контента, <a href="#" rel="nofollow"></a> - google для ссылок.
.. без обмана..
посты, Lastwarrior, активней твори) 🍿---------- Добавлено 07.11.2014 в 13:49 ----------
Пробовал и PageSpeed.. анализатор предложил обратить внимание на отображение дизайна в мобильных устройствах (это он всем сайтам предлагает :))..
и включить кеширование в браузере и gzip на сервере (для увеличения нагрузки на cpu) и фсё.
Включал на месяц.. имхо, ни на что не повлияло кроме как по top-у заметно увеличилась нагрузка на cpu..
а.. да.. и засчёт сжатия сэкономил гуглу входящий трафик :)
с какой целью? просто так? :)
наличие слива не объяснит почему с гугла-IP идёт обращение к файлу с реферером как-бэ из поисковика и юзерагентом не бот..
к файлу который отдаётся только в браузер при выполнении оным js кода..
да ещё это файл и ранжируется в какой-то выдаче web
да.. к стати.. и в котором слива просто нет.. в нём лежит текст к примеру, или линки, или img, или всё вместе.---------- Добавлено 05.11.2014 в 23:11 ----------
несколько месяцев назад, написал простой анализатор логов сервера на php..
лопатить несколько кил логов в ручную просто не реально..
собственно, из логов эта информация и пришла..
p.s. раньше то-же, просто смотрел на поверхность, выдача-код-вылез-трафик-забанен-делай-новый.. бесконечно..
p.s.s. сменил тактику - "зрю в корень", много полезного открывается..
p.s.s.s. друзья, есть мысли по делу, но считаете "эти мысли|мнение не для паблика".. пожалуйста, личка открыта.. буду рад :)
есть ещё некоторые наблюдения.
да, пробовал.. прописывал разные варианты слива, как на стороне сервера, так и на стороне клиента..
пожалуйста подскажите.. на основании чего можно предполагать "бан юного дора за слив", если трафик 0-2 хоста в сутки, и только заходит в индекс?
не совсем ясно.. что вы хотели сказать?
вы правы.. в дорах всегда найдётся что-то общее..
отдельный шаблон и уник-текст вида "ух-ты! круто пишет, учитаться можно))" каждому дору не подаришь :)
