кто что ищет, тот то и находит. путин вон в твиттере сразу детское порно нашел, а я ниразу не находил. собственно и проституток в директе не видел ниразу.
Disallow:
и
Disallow: /
первый наоборот разрешает ходить везде, второй запрещает везде.
"такого товара больше нет, но вот список похожих: .... "
сейчас выдаю при этом header 404
все правильно.
ну да, 99% всего этого поведенческого мусора идет с RU.
Если исходить из того, что делать это может тот, кому это больше всех выгодно, то это ЯНДЕКС!
+ за яндекс. практической надобности постороннему человеку нету надобности валить все сайты рунета.
Живых людей там тоже хватает. Но последние 3 часа проскакивающих ботов должно стать меньше.
а конкретный ip можете указать и примерное время?
в последние 3 часа, т.е. с 12 по мск по идее этих ботов в проходящих должно быть меньше.
Пролез Metropolitan branch of OJSC MegaFon AS25159 178.176.64.0/19 с экраном 1920х1080
Было бы не плохо блокировать мобильный трафик с экранами от ПК.
а юзераген там случаем не виндовс? вчера и сегодня до обеда были какието новые боты всплески, но сейчас они тоже потиху фильтруются.
