- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу

Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
В логах несколько тысяч запросов в сутки. Промежуток между запросами от секунды до несколько минут. Что это может быть?
Line 35: 127.0.0.1 - - [05/Jan/2018:03:07:27 +0300] "GET /forum/viewtopic.php?p=1423840#p1423840 HTTP/1.0" 400 226 "-" "-"
Line 60: 127.0.0.1 - - [05/Jan/2018:03:08:25 +0300] "GET /viewtopic.php?p=826167#p826167 HTTP/1.0" 400 226 "-" "-"
Line 82: 127.0.0.1 - - [05/Jan/2018:03:09:25 +0300] "GET /forum/viewtopic.php?p=1422848#p1422848 HTTP/1.0" 400 226 "-" "-"
Line 109: 127.0.0.1 - - [05/Jan/2018:03:10:07 +0300] "GET /forum/viewtopic.php?p=1425100#p1425100 HTTP/1.0" 400 226 "-" "-"
Line 147: 127.0.0.1 - - [05/Jan/2018:03:11:15 +0300] "GET /forum/viewtopic.php?p=1423826#p1423826 HTTP/1.0" 400 226 "-" "-"
Line 171: 127.0.0.1 - - [05/Jan/2018:03:11:49 +0300] "GET /viewtopic.php?p=1423781#p1423781 HTTP/1.0" 400 226 "-" "-"
Line 207: 127.0.0.1 - - [05/Jan/2018:03:12:42 +0300] "GET /viewtopic.php?p=1414139#p1414139 HTTP/1.0" 400 226 "-" "-"
Line 243: 127.0.0.1 - - [05/Jan/2018:03:14:01 +0300] "GET /viewtopic.php?p=1410800#p1410800 HTTP/1.0" 400 226 "-" "-"
Line 261: 127.0.0.1 - - [05/Jan/2018:03:14:51 +0300] "GET /viewtopic.php?p=1423053#p1423053 HTTP/1.0" 400 226 "-" "-"
Line 263: 127.0.0.1 - - [05/Jan/2018:03:14:55 +0300] "GET /viewtopic.php?p=1367471#p1367471 HTTP/1.0" 400 226 "-" "-"
Line 334: 127.0.0.1 - - [05/Jan/2018:03:15:59 +0300] "GET /viewtopic.php?p=1422789#p1422789 HTTP/1.0" 400 226 "-" "-"
Line 361: 127.0.0.1 - - [05/Jan/2018:03:17:01 +0300] "GET /viewtopic.php?p=284839#p284839 HTTP/1.0" 400 226 "-" "-"
Line 501: 127.0.0.1 - - [05/Jan/2018:03:17:41 +0300] "GET /viewtopic.php?p=1424436#p1424436 HTTP/1.0" 400 226 "-" "-"
Line 619: 127.0.0.1 - - [05/Jan/2018:03:19:28 +0300] "GET /viewtopic.php?p=1141782#p1141782 HTTP/1.0" 400 226 "-" "-"
Line 664: 127.0.0.1 - - [05/Jan/2018:03:21:02 +0300] "GET /forum/viewtopic.php?p=1421837#p1421837 HTTP/1.0" 400 226 "-" "-"
Line 669: 127.0.0.1 - - [05/Jan/2018:03:21:25 +0300] "GET /forum/viewtopic.php?p=1423667#p1423667 HTTP/1.0" 400 226 "-" "-"
Line 683: 127.0.0.1 - - [05/Jan/2018:03:22:14 +0300] "GET /viewtopic.php?p=1311727#p1311727 HTTP/1.0" 400 226 "-" "-"
Line 702: 127.0.0.1 - - [05/Jan/2018:03:23:13 +0300] "GET /viewtopic.php?p=1422879#p1422879 HTTP/1.0" 400 226 "-" "-"
Line 720: 127.0.0.1 - - [05/Jan/2018:03:24:14 +0300] "GET /forum/viewtopic.php?p=1423798#p1423798 HTTP/1.0" 400 226 "-" "-"
Line 732: 127.0.0.1 - - [05/Jan/2018:03:24:51 +0300] "GET /viewtopic.php?p=93120#p93120 HTTP/1.0" 400 226 "-" "-"
Line 753: 127.0.0.1 - - [05/Jan/2018:03:26:29 +0300] "GET /forum/viewtopic.php?p=1424268#p1424268 HTTP/1.0" 400 226 "-" "-"
Line 777: 127.0.0.1 - - [05/Jan/2018:03:27:06 +0300] "GET /viewtopic.php?p=1162003#p1162003 HTTP/1.0" 400 226 "-" "-"
Line 789: 127.0.0.1 - - [05/Jan/2018:03:27:53 +0300] "GET /viewtopic.php?p=1378149#p1378149 HTTP/1.0" 400 226 "-" "-"]
У вас nginx + apache?
Никаких cron задач нет?
Да, nginx +FastCGI (Apache). В cron задач нет.
Так может это они друг с другом общаются? :)
В конфиге nginx как прописано проксирование?
---------- Добавлено 05.01.2018 в 14:05 ----------
Ещё проверьте у вас сайт по https случаем не доступен?
В смысле, друг с другом? )
proxy_pass http://127.0.0.1:8080;
proxy_redirect http://127.0.0.1:8080 /;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Port $server_port;
access_log off;
По https недоступен.
---------- Добавлено 05.01.2018 в 14:24 ----------
Прописал временно в конфигурацию nginx
запросы прекратились.
Что это может значить?
---------- Добавлено 05.01.2018 в 15:02 ----------
Выяснил причину массовых записей в логе. После того как по данным запросам заставил nginx стал отдавать ошибку 403, в логах появились записи:
Line 55919: 176.121.14.164 - - [05/Jan/2018:14:12:00 +0300] "GET /viewtopic.php?p=826172#p826172 HTTP/1.1" 403 134 "-" "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:25.0) Gecko/20100101 Firefox/29.0"
Line 56128: 176.121.14.173 - - [05/Jan/2018:14:13:32 +0300] "GET /viewtopic.php?p=1423914#p1423914 HTTP/1.1" 403 189 "-" "Mozilla/5.0 (Windows NT 4.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/37.0.2049.0 Safari/537.36"
Line 56447: 176.121.14.163 - - [05/Jan/2018:14:16:30 +0300] "GET /viewtopic.php?p=1423275#p1423275 HTTP/1.1" 403 134 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0"
Line 56593: 176.121.14.170 - - [05/Jan/2018:14:18:11 +0300] "GET /viewtopic.php?p=1423552#p1423552 HTTP/1.1" 403 189 "-" "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2226.0 Safari/537.36"
Line 56732: 176.121.14.163 - - [05/Jan/2018:14:19:46 +0300] "GET /viewtopic.php?p=1141602#p1141602 HTTP/1.1" 403 134 "-" "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10; rv:33.0) Gecko/20100101 Firefox/33.0"
Вопрос - почему в журнале посещений они логируются как запросы с адреса 127.0.0.1?
У вас настроена передача IP посетителя бэкенду?
Что то подобное
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
и
fastcgi_param REMOTE_ADDR $http_x_real_ip;
#...other rules
}
https://easyengine.io/tutorials/nginx/forwarding-visitors-real-ip/
Помимо передачи, еще нужно принимать IP бекендом. rpaf'ом, например.
Основной конф. файл:
worker_processes 3;
error_log /var/log/nginx/error.log warn;
pid /var/run/nginx.pid;
events {
worker_connections 1024;
}
http {
include /etc/nginx/mime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
.
.
.
server {
server_name localhost;
disable_symlinks if_not_owner;
listen 80;
listen [::]:80;
include /etc/nginx/vhosts-includes/*.conf;
location @fallback {
error_log /dev/null crit;
proxy_pass http://127.0.0.1:8080;
proxy_redirect http://127.0.0.1:8080 /;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
access_log off ;
}
}
client_max_body_size 128m;
}
Конфиг сайта
.
.
.
location / {
}
location ~ [^/]\.ph(p\d*|tml)$ {
try_files /does_not_exists @fallback;
}
location ~* ^.+\.(jpg|jpeg|gif|png|svg|js|css|mp3|ogg|mpe?g|avi|zip|gz|bz2?|rar|swf|woff|ico)$ {
try_files $uri $uri/ @fallback;
expires 4d;
}
location / {
try_files /does_not_exists @fallback;
}
}
location @fallback {
proxy_pass http://127.0.0.1:8080;
proxy_redirect http://127.0.0.1:8080 /;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Port $server_port;
access_log off;
}
.
.
}