LEOnidUKG

LEOnidUKG
Рейтинг
1778
Регистрация
25.11.2006
Должность
PHP
Интересы
Программирование
pegs #:
Мне кажется, это некоторые хитрецы специально используют Облака Поисковиков для маскировки под поисковых ботов. Для них админы всё откроют 😀 Вот только про  ЮзерАгента  кто-то не додумался. Теперь поправит.

Да это классика, также ещё Гугл документы юзают, чтобы данные вытягивать. Помню даже была статья как DDOS устраивали через них.

Dram #:
Добавил сюда в map условие отсутствие подсети IP в белом списке, чтобы не было ложного срабатывания, проверил, этот бот все долбится и теперь получает 200 ответ

Класс!!! Сам всё сдал парсеру. Тогда убери вообще защиту, чего уж там.

pegs #:
А не могут быть это юзеры из Яндекс.Облака?

Да, может быть какие-нибудь парсерсы. Как Google Cloud там же тоже определяется как Google IP

Кто-то что-то тестировал с твоего сайта. Вот и всё.

Так чего он не ставит свой нормальный Юзер агент?

Кто "он"? Яндекс это корпорация с кучей разработчиков, которые работают каждый день и что-то делают. 
Всем сейчас нужен и включите http/2 будет счастье. 
ValeryMaguylo #:

если у него 800 а у меня 40 и при моих 40 у меня 2000 посещений в месяц, то по логике у конкурента в 20 раз больше - то есть 40 000. Конечно есть сервисы для отслеживания трафика - но они все неточный - думаю яндекс точнее показатели определяет

Вы свой продвигаете или вы каким-то образом заказ получили? Просто интересно.

ValeryMaguylo #:

в вебмастере смотрю икс конкурентов и вижу что у них в десятки раз выше - вот и думаю что на сайте что-то особенное сделано - я так понимаю с ростом трафика по закономерности и растет икс

Да хоть 0 хоть 100000 вам эти цифры для чего?

ValeryMaguylo #:

если растет посещаемость то и растет ИКС верно?

да, которую учитывает Яндекс. Но вам ИКС сам по себе то зачем?

ИКС это посещаемость в основном.
 site:урл старого домена то выдает почти все страницы,
Это нормально. Индексный архив и ранжирование не связаны. Они просто лежат т.к. очистка базы это отдельная процедура и занимает много времени.
Всего: 31535