для эксперимента - самое дорогое это прокси, 20$ на 2 недели, чтоб успеть увидеть первый результат, если смотреть сайты первые в гугле. крутить можно хоть бесплатным басом со своего компа. крутится легко и не принужденно. если страшно основной сайт - можно запилить одностраничник на домене за 1 бакс.
кто что ищет, тот то и находит. путин вон в твиттере сразу детское порно нашел, а я ниразу не находил. собственно и проституток в директе не видел ниразу.
Disallow:
и
Disallow: /
первый наоборот разрешает ходить везде, второй запрещает везде.
"такого товара больше нет, но вот список похожих: .... "
сейчас выдаю при этом header 404
все правильно.
ну да, 99% всего этого поведенческого мусора идет с RU.
Если исходить из того, что делать это может тот, кому это больше всех выгодно, то это ЯНДЕКС!
+ за яндекс. практической надобности постороннему человеку нету надобности валить все сайты рунета.
Живых людей там тоже хватает. Но последние 3 часа проскакивающих ботов должно стать меньше.
а конкретный ip можете указать и примерное время?
в последние 3 часа, т.е. с 12 по мск по идее этих ботов в проходящих должно быть меньше.
