С новостей гугл неестественный трафик. ddos или реальные люди?

А нашелся ли какой ответ?

Наблюдаем точно такой же трафик с апреля 2014 и до сих пор. Симптомы все те же.

Тоже подумал на какую-то читалку новостей с андроида.

Версия Андроида слишком старая, и ее при этом очень большой %, чтобы это могла быть читалка.

Версии бывают разные. И скорее всего читалка фейкает версию.

Штук 10 ридеров всяких перепробовал, отловить кандидата пока не получилось.

Юзерагент явно фейковый

"Mozilla/5.0 (Linux; U; Android 1.5; en-us) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1"

Если посмотреть допустим сюда, то видно, что все юзерагенты содержат модель девайса. А тут его нет.

"Mozilla/5.0 (Linux; U; Android 1.5; en-us) AppleWebKit/528.5+ (KHTML, like Gecko) Version/3.1.2 Mobile Safari/525.20.1"

Тоже самое. Пока не отловил.

Заметил следующие закономерности (не факт, что все из них рулят):

1. На тех сайтах куда льется подобный траф есть микроразметка.

2. Новость перед тем, как на нее нальется от тысяч до десятков тысяч хитов, попадает в Гугл ньюз.

Явно, что режется весь JS код и вероятнее всего, весь html парсится на микроразметку в реальном времени софтом. Трафик виден в логах и не виден ни в одном каунтере.

Виден в Яндексе, как андроид 1.5. Без реферера.

Именно из Яндекса я его и увидел впервые. Гугл и LI режет как недостоверный.

---------- Добавлено 28.08.2014 в 16:05 ----------

У нас все новости в гугл-ньюз в той или иной степени. И в яндекс.новостях и много где еще. BFM.ru )

А-а, я просто Я.Метрику снял давно со всех сайтов. Поэтому не в курсе.

У меня на сайтах такой траф виден мгновенно в админках, куда выводятся внутренние каунтеры. Внутренние каунтеры просто регистрируют обращение к URL с уникальных IP и нужны только для понимания трендов и популярности тематик. Меня пнул один, другой редактор, типа "ай какой я молодец у меня суперчитабельная фишка, 5к, 10к, 15к заходов..." В аналитиксе в упор не вижу, в LI таже история. В Адсенсе страниц не растет. Тогда в логах и обнаружились эти гов-юки...

Но всплески с Яндекс новостей и тоже еще много где, совсем не всегда совпадают с потоком этого пустого трафа. Зато всплески с Гугл новостей всегда совпадают. Специально отслеживал.

Почему я думаю, что считывают микроразметку (schema.org), потому что появление этого трафика совпало по времени с вводом микроразметки на сайтах. Может и совпадение.

Камрады, есть сравнительно живой вариант для проверки на человечность:

по юзерагенту отдаем вместо контента форму: "Дорогой посетитель, к сожалению, с вашего девайса или программы мы не можем отобразить данную страницу. Отставите, плз, название софта/тулы и ваши координаты - мы обязательно постараемся решить этот вопрос".

DrSol, с вашей посещалкой при человеческом трафе 100% за день будет десяток сабмитов.

2All: по идее же, если по юзверь-агенту отдавать 403 без метрики и прочих счетчиков, ПФ не должны пострадать?

ПФ и так не страдает, трафик ни в одном JS каунтере не виден.

А вот по юзер-агенту резать, это не здорово. Есть %% обычных юзеров с этими агентами. Их нельзя резать, они в адеквате.

Метрика палит. По идее, достаточно убрать блок noscript метрики.