Для Московской области патент 11к. Осталось расковырять его применимость.
Решил заглянуть в Центр просмотра обьявлений - много текстовых обьяв с "высокой" частой показов.
Только весь текст - "Видео, смотреть видео".
Рекламируют при этом нормальные сайты.
Убивать?
Никакой дополнительной обработки ajax запросов, или связанных хитростей индексации - они(роботы) просто исполняют js, и видят тоже самое, что и человек в браузере.
Плюс в бете вебмастера есть новый класс ссылок - Внутренние/Не поддерживаются основным индексирующим роботом Поиска. Лично у меня там показаны ссылки с контента, который динамически генерируется на фронтенде.
Сейчас уже все поисковики исполняют js, а nofollow просто сжигает вес.
Беда...
Даже Викимапию в свое время гугл банил. Но потом разбанил.
Быть может техническая проблема случилась, или временное недопонимание..
В свое время, из похожих соображений, два года не вешал на одном сайте рекламу. Потом плюнул и повесил. Не изменилось ничего кроме дохода в мой карман.
Совсем недавно, из похожих соображений, убрал один блок рекламы с первого экрана. Две недели трафик рос. Но с "недавним апом" рухнул ниже старых границ.
У меня годами сайты на такие дорвеи дербанят. Сотни, тысячи говоносайтов в день - там же робот работает. И полные и частичные копии. Почти мгновенно (неделя) эти сайты исчезали из поиска. Негативного влияния не оказывали.
Где-то ухудшает, где-то улучшает. Сколько людей, столько и мнений.
iminlove на 25 странице типа знает причину, по которой объективно плохой сайт может ранжироваться выше чем объективно хороший, но не говорит.
весь нормальный "скрипт" это один json_decode, после чего кладем данные куда либо - в SQL, в монгу, в csv(который потом перекладываем куда угодно)
Логи, вообще не так чтобы и нужны - ведь главное не кого блоканули, а кого пропустили.
Самый простой вариант этого - у заболоткина (http://zabolotskikh.com/tips/content-security-policy/)
Просто в csv. Делай потом что хочешь.
Еще более простые (и правильные) варианты идут с различными адаптерами к БД, это которые понимают синтаксис INSERT INTO xxx SET ?, где ? - фактически входящий json.
На странице http://zabolotskikh.com/tips/content-security-policy/ в данный момент один json_decode без каких либо костылей.
PS: если это не его скрипт, а "его" сидит где-то в rar архиве - ну камушек в его огород значит.