senks777

Рейтинг
79
Регистрация
15.08.2010
Конкуренты нагоняют тупой трафик на сайт
Us2828:
начал литься трафик вида "site.ru - кидалово и иди на..й владелец сайта"

из какого источника получили информацию о запросах? (лог сайта на сервере, метрика, пр.)

вряд ли сайт находится в топе выдачи по ним..

значит запросы с подменой Referer сгенерированы, либо

а) на стороне клиента в браузере на js, либо

б) на сервере конкурента, либо

с) биржа

a) сомневаюсь что у конкурентов нашлось своих 250-300 пользователей на разных IP готовых генерировать

в своих браузерах такие запросы с подменой Referer..

возможно один человек занимается генерацией запросов в браузере

с подменой Referer и Usragent с ограниченного кол-ва IP..

(этот метод требует немало времени, на ПФ не повлияет, потому как в здравом уме никто заниматься таким не будет)

б) выполняется на сервере конкурента скрипт который меняет Usragent,

генерирует Referer (как буд-то посетитель из выдачи) подставляя "site.ru - кидалово и иди на..й владелец сайта",

отправляет запросы через IP прокси..

(метод требует время 1 раз для разработки скрипта, к ПФ отношения не имеет)

с) через биржу заданий, где можно указать любой Referer и 250-300 школьников на разных IP и браузерах

с радостью сделают переход на сайт за пару центов.. тем самым добавляя в статистику запросы которые вас не устраивают..

накрутка ПФ.. хм.. можно сказать и да и нет..

(за $1 можно отослать на сайт несколько сотен уников "из поисковика" с некрасивыми запросами)

парсинг таблицы на PHP
vantala:
готовое решение


$str = file_get_contents('http://finance.yahoo.com/q/op?s=GDX');

$trName = array(); // массив имен столбцов таблиц
$haystack = array(); // массив данных таблиц

if (preg_match_all("~<table[^>]*>\s*<caption>\s*([a-z]+)\s*</caption>(.+?)<tbody>(.+?)</tbody>.*?</table>~is", $str, $matches)) {

  /* найдены таблицы */ 
  foreach ($matches[3] as $k => $table) {

    // имена столбцов таблиц (если нужно)
    if (preg_match_all("~(<div class=['\"]D-ib[^'\"]*['\"]>([^<]*)</div>|<th[^>]*>([a-z\s]+)</th>)~is", $matches[2][$k], $th)) {
      foreach ($th[2] as $k2 => $name) {
        $thName[$matches[1][$k]][$k2] = $name ? $name : $th[3][$k2];
      }
    } // если не нужно, блок IF удалить/закомментировать
    
    /* разбор таблиц */
    if (preg_match_all("~<tr[^>]*>(.+?)</tr>~is", $table, $tr)) {
      foreach ($tr[1] as $k2 => $td) {
        if (preg_match_all("~<td[^>]*>.+?>([a-z0-9\.%]+)</[^>]+>.+?</td>~is", $td, $data)) {
          // добавляем разобранную в массив строку в общий массив данных
          $haystack[$matches[1][$k]][$k2] = $data[1];
        }
      }
    }
  }
}
/* результат; время выполнения без file_get_contents = 0.00600 sec */
print_r($haystack);

скрипт парсит обе таблицы, можно сказать - сколько угодно таких таблиц на странице..

на выходе многомерный массив таблиц-данных вида:


[Calls] => Array
        (
            [0] => Array
                (
                    [0] => 8.00
                    [1] => GDX150320C00008000
                    [2] => 14.50
                    [3] => 0.00
                    [4] => 0.00
                    [5] => 0.00
                    [6] => 0.00%
                    [7] => 10
                    [8] => 5
                    [9] => 0.00%
                )
            ...
            [38] => Array
                (
                    [0] => 38.00
                    [1] => GDX150320C00038000
                    [2] => 0.13
                    [3] => 0.00
                    [4] => 0.13
                    [5] => 0.00
                    [6] => 0.00%
                    [7] => 3
                    [8] => 161
                    [9] => 306.25%
                )
        )
[Puts] => Array
        (
            [0] => Array
                (
                    [0] => 10.00
                    [1] => GDX150320P00010000
                    [2] => 0.01
                    [3] => 0.00
                    [4] => 0.00
                    [5] => 0.00
                    [6] => 0.00%
                    [7] => 37
                    [8] => 4
                    [9] => 50.00%
                )
            ...
            [38] => Array
                (
                    [0] => 38.00
                    [1] => GDX150320P00038000
                    [2] => 20.10
                    [3] => 0.00
                    [4] => 0.00
                    [5] => 0.00
                    [6] => 0.00%
                    [7] => 12
                    [8] => 0
                    [9] => 0.00%
                )
        )
)

Имена столбцов таблиц в переменной $thName = Array
(
    [Calls] => Array
        (
            [0] => Strike
            [1] => Contract Name
            [2] => Last
            [3] => Bid
            [4] => Ask
            [5] => Change
            [6] => %Change
            [7] => Volume
            [8] => Open Interest
            [9] => Implied Volatility
        )

    [Puts] => Array
        (
            [0] => Strike
            [1] => Contract Name
            [2] => Last
            [3] => Bid
            [4] => Ask
            [5] => Change
            [6] => %Change
            [7] => Volume
            [8] => Open Interest
            [9] => Implied Volatility
        )

)
vantala:
Нужны 2 массива, Calls и Puts

Берем данные нужной таблиц как $haystack['Calls'], $haystack['Puts']

или 2 массива

$Calls = $haystack['Calls'];

$Puts= $haystack['Puts'];

vantala, обращайтесь ели нужно.. рыба к пиву есть..

О наболевшем(Индексация-топ)
Rimays:
В общем сайту 4-5 дней

времени прошло недостаточно (ежели не использовали агрессивные методы индексации)

Rimays:
Ключевые слова выставлены,роботс,мапс,описания и т.д все есть.

хорошо

Rimays:
Вообще как такой сайт в топ-10 выводить? Ссылками? их хватит?

Вообще пробовали так?

или поточнее?

Rimays:
Жду любую напутствующую речь,о том как такие сайты раскручивать.

... не за что.

Rimays, сори, с таким (облачным) набором входящей информации вам могут помочь, разве что, вангующие..

/ru/forum/comment/13480856

Редирект .htaccess

Подстановка (без редиректа):

RewriteEngine On
RewriteBase /
RewriteRule ^okna_dveri/$ /html/okna/index.php [L]
RewriteRule ^okna_dveri/(.+)$ /html/okna/$1 [L,QSA]

сработает если запрошенное /okna_dveri/имя_файла

Apache найдет в директории /html/okna/имя_файла

Пожскажите правильно ли реализовано закрытие меню в джаву вместо ноуфолоу.
TAMALUKU:
Ну наверно до наоборот не могло быть выполнено, потому что для пользователей меню в принципе как было, так и осталось

Если меню визуально осталось прежним как до начала работ, значит обёртка меню в js была изначально.. итого..

1) визуально меню осталось как было

2) ссылки категорий от бота пс не скрыты

Тогда резонно задать себе вопрос..

А что-же тогда выполнено из тех-задания? (представленного вами) 🙄

э-э-эх!.. мне б таких чудесных клиентов :) да побольше ☝ .. уж яб тоХда 🍿 ...

Мастера PHP, помогите, пожалуйста! 


if (preg_match("~^/page/[^/]+/foto/odin/$~i", $_SERVER['REQUEST_URI'])) {
    header("HTTP/1.1 301 Moved Permanently");
    header("Location: http://".$_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI'];

    /* или "http://www.".$_SERVER['SERVER_NAME'].$_SERVER['REQUEST_URI'];
     * или "http://".$_SERVER['HTTP_HOST'].$_SERVER['REQUEST_URI'];
     * в последнем www не нужно, но "зловред" может передать левый HTTP_HOST */

    exit();
}
Пожскажите правильно ли реализовано закрытие меню в джаву вместо ноуфолоу.
TAMALUKU:
закрыть по максимуму лишние ссылки для каждой отдельной статьи чтобы вес не утекал

в коде страницы видно 268 ссылок меню -> готовых принять вес текущей страницы..

значит когда бот скачает страницу, он увидит все ссылки меню.. и может ходить по ним, а также учитывать либо нет..

TAMALUKU:
задание было спрятать от поисковиков все главное меню категорий

меню "свернули" в js для пользователей, ботам ссылки доступны..

потому видимо, задание выполнено с точностью до наоборот.

TAMALUKU:
чем вообще можно проверять видно или невидно поисковикам какого-либо содержимого?

самое простое - пункт меню браузера "посмотреть код страницы" (Ctrl+U в Chrome)..

видно в коде вам, видно и пс.

p.s. <noindex rel="nofollow">... теоретически: <noindex> - яндекс для контента, <a href="#" rel="nofollow"></a> - google для ссылок.

Обмен опытом и идеями
Lastwarrior:
ты сливаешь траффик с Гугла
Lastwarrior:
он в отместку сливает твои
Lastwarrior:
Все по честному

.. без обмана..

посты, Lastwarrior, активней твори) 🍿

---------- Добавлено 07.11.2014 в 13:49 ----------

igoreff:
Можешь еще попробовать несколько доров в гугл вебмастерс добавить и посмотреть что напишет и здесь еще проверить https://developers.google.com/speed/pagespeed/insights/
добавлял полгода назад, провисел дор там 2 месяца, от гугла сообщений не было, снял код подтверждения, забыл.

Пробовал и PageSpeed.. анализатор предложил обратить внимание на отображение дизайна в мобильных устройствах (это он всем сайтам предлагает :))..

и включить кеширование в браузере и gzip на сервере (для увеличения нагрузки на cpu) и фсё.

Включал на месяц.. имхо, ни на что не повлияло кроме как по top-у заметно увеличилась нагрузка на cpu..

а.. да.. и засчёт сжатия сэкономил гуглу входящий трафик :)

Обмен опытом и идеями
оранжевый:
сделай таких же дорвеев но без слива вообще

с какой целью? просто так? :)

наличие слива не объяснит почему с гугла-IP идёт обращение к файлу с реферером как-бэ из поисковика и юзерагентом не бот..

к файлу который отдаётся только в браузер при выполнении оным js кода..

да ещё это файл и ранжируется в какой-то выдаче web

senks777:
&source=web&cd=3&ved=

да.. к стати.. и в котором слива просто нет.. в нём лежит текст к примеру, или линки, или img, или всё вместе.

---------- Добавлено 05.11.2014 в 23:11 ----------

igoreff:
тут только пробовать наверно надо
да.. пробую-делаю.. делаю-пробую..

несколько месяцев назад, написал простой анализатор логов сервера на php..

лопатить несколько кил логов в ручную просто не реально..

собственно, из логов эта информация и пришла..

p.s. раньше то-же, просто смотрел на поверхность, выдача-код-вылез-трафик-забанен-делай-новый.. бесконечно..

p.s.s. сменил тактику - "зрю в корень", много полезного открывается..

p.s.s.s. друзья, есть мысли по делу, но считаете "эти мысли|мнение не для паблика".. пожалуйста, личка открыта.. буду рад :)

есть ещё некоторые наблюдения.

Обмен опытом и идеями
igoreff:
А пробовал например с другим сливом

да, пробовал.. прописывал разные варианты слива, как на стороне сервера, так и на стороне клиента..

пожалуйста подскажите.. на основании чего можно предполагать "бан юного дора за слив", если трафик 0-2 хоста в сутки, и только заходит в индекс?

igoreff:
или что еще изменять

не совсем ясно.. что вы хотели сказать?

igoreff:
что то общее палится

вы правы.. в дорах всегда найдётся что-то общее..

отдельный шаблон и уник-текст вида "ух-ты! круто пишет, учитаться можно))" каждому дору не подаришь :)

1 2345678910 ...23
Всего: 225