- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Не, они просто скорее всего PTR меняют: https://cloud.google.com/compute/doc...ate-ptr-record
Не особо я английский понимаю, ну да ладно.
Итак, получается апач получает ip адрес обращающегося бота, запрашивает PTR для этого ip и получает в ответ что-то в этом роде
77-88-5-64.spider.yandex.com
ip-54-36-150-132.a.ahrefs.com
140.85.188.35.bc.googleusercontent.com
Так что-ли?
Поэтому это фиктивные хосты. Из-за этого я и говорю, что нужно логи апатча поправить и сделать хотя бы в скобочках выводить IP реальный, а не хост.
Так в том то и дело, что ip как бы должен там выводится, я уже приводил скрин на котором видно, что он то сам выводится то вместо него хост выводится.
Почему это присходит я не пойму.
https://nimb.ws/8x92kP
Документацию по апатчу прочитайте, что я ссылку дайте и пропишите именно IP в отчётах.
Документацию по апатчу прочитайте, что я ссылку дайте и пропишите именно IP в отчётах.
Там в логе и стоит LogFormat "%h %l %u %t и т.д.," т.е. первым идет %h, в документации написано:
%h - Remote hostname. Will log the IP address if HostnameLookups is set to Off, which is the default. If it logs the hostname for only a few hosts, you probably have access control directives mentioning them by name. See the Require host documentation.
Перевод (%h - Имя удаленного хоста. Записывает IP-адрес, если для HostnameLookups установлено значение Off, которое используется по умолчанию. Если он регистрирует имя хоста только для нескольких хостов, возможно, у вас есть директивы контроля доступа, в которых они упоминаются по имени. Смотрите документацию хоста.)
У меня и стоит HostnameLookups Off, как уже писал.
Там в логе и стоит LogFormat "%h %l %u %t и т.д.," т.е. первым идет %h, в документации написано:
%h - Remote hostname. Will log the IP address if HostnameLookups is set to Off, which is the default. If it logs the hostname for only a few hosts, you probably have access control directives mentioning them by name. See the Require host documentation.
Перевод (Имя удаленного хоста. Записывает IP-адрес, если для HostnameLookups установлено значение Off, которое используется по умолчанию. Если он регистрирует имя хоста только для нескольких хостов, возможно, у вас есть директивы контроля доступа, в которых они упоминаются по имени. Смотрите документацию хоста.)
У меня и стоит HostnameLookups Off, как уже писал.
В третий раз пишу, пропишите в логах, чтобы писал чистый IP.
В третий раз пишу, пропишите в логах, чтобы писал чистый IP.
Нету там такого, чтобы писал чистый IP.
Как я понял нужно разобраться с этой фразой Если он регистрирует имя хоста только для нескольких хостов, возможно, у вас есть директивы контроля доступа, в которых они упоминаются по имени. Смотрите документацию хоста.
Это объясняет почему записывается то IP то хост.
Нету там такого, чтобы писал чистый IP.
Как я понял нужно разобраться с этой фразой Если он регистрирует имя хоста только для нескольких хостов, возможно, у вас есть директивы контроля доступа, в которых они упоминаются по имени. Смотрите документацию хоста.
Это объясняет почему записывается то IP то хост.
Попробуйте вместо %h прописать %a
Также, если у вас где-то стоит блокировка по хостам убирайте её. Она не нужна т.к. идёт блокировка по IP
Попробуйте вместо %h прописать %a
Попробую, но сейчас уже даже не буду знать, даст эта замена %h на %a что-то или нет, потому что в логе последний раз имя хоста отобразилось в 11:24, с того времени фиксируются только IP. Сейчас уже 18:54, надо понаблюдать, возможно я уже что-то сделал, вследствии чего проходят только IP.
---------- Добавлено 22.03.2020 в 21:10 ----------
Я когда-то прописывал такую штуку, чтобы возможный трафик с поддоменов шел на основной сайт
<VirtualHost *:80>
ServerName "site.ru"
ServerAlias "*.site.ru"
redirect permanent / http://site.ru/
</VirtualHost>
Сейчас закомментарил, думаю не могло ли это давать.
https://github.com/JonasCz/How-To-Prevent-Scraping - держите, и тему думаю можно закрывать.
Также столкнулся с такой дрянью.
У себя решил проблему с nginx limit_req и fail2ban по access логам сайта. В принципе limit_req хорошо ограничивает нагрузку и при превышении отдает пустой ответ без бэкэнда. А fail2ban подсчитывает, если запросов с 1 ip было более 250 за 1 минуту (чистых GET/POST запросов без статики) то банит урода.