Реф-спам от поисковых ботов Google

Да, 100% поисковый бот от Google, проверял по PTR записям.

Ну и IP сразу выделяются из этой же ASN: 66.249.66.22,  66.249.66.23 и т.д. - как пример.

Не, тут явно не тот случай, так как IP не фейковые, а настоящие.

Тип запроса: POST, что говорит о том, что этот запрос реально пришел с сайта, указанного в реферере.

Адрес указан неверно и явно намеренно, с косой чертой перед /https - это либо ошибка в скриптах на реф-сайтах, либо зачем-то еще так указывают, чтобы спамило именно в 404.

Ну и сами рефки - сплошь полнейший жестяк! )))

Еще забыл добавить, что на сайте для всех настроен кэш, Nginx отдает статику всем, даже поисковым ботам - поэтому добраться до admin-ajax.php они не могут даже при большом желании.

Это явно кто-то натравливает, указывая где-то у себя битую ссылку - но для чего и зачем?

Подобные логи 404 вижу ведь только я ну и боты Google...

Список IP ботов обновляемый от гугл при появлении нового адреса или удалении https://developers.google.com/search/apis/ipranges/googlebot.json

    <div class="form-container">
        <div class="message">
            <p>Эта страница выполнит автоматический POST запрос на указанный URL с предзаполненными значениями.</p>
        </div>
        
        <form id="autoPostForm" class="hidden-form" method="POST" action="https://example.com/submit">
            <!-- Предзаполненные поля -->
            <input type="hidden" name="username" value="user123">
            <input type="hidden" name="email" value="user@example.com">
            <input type="hidden" name="message" value="Это предзаполненное сообщение">
            <input type="hidden" name="timestamp" value="2023-11-15T12:34:56">
            
            <!-- Передача referer -->
            <input type="hidden" name="referer" value="">
        </form>
    </div>

    <script>
        document.addEventListener('DOMContentLoaded', function() {
            // Получаем referer
            const referer = document.referrer;
            
            // Устанавливаем referer в форму
            const form = document.getElementById('autoPostForm');
            const refererInput = form.querySelector('input[name="referer"]');
            refererInput.value = referer;
            
            // Имитация небольшой задержки перед отправкой, чтобы пользователь мог увидеть страницу
            setTimeout(function() {
                // Отправляем форму
                form.submit();
            }, 500);
        });
    </script>

запретить POST и прочие методы к сайту)

Зачем мне эта инфа, если я и так знаю, что это поисковый бот Google?

Да и указанный диапазон IP на той странице как раз есть.

Не, ну это было бы как раз объяснимо, если бы запрос шел к форме, чтобы спамить тупо или еще что-то.

Но там запрос валится на ош. 404.

Фига се )))

Не разобравшись в причине "че это и для чего", сразу так кардинально? ))

Так можно договориться до того, что нужно запретить всех поисковых ботов от Google.

Просто знать хочется, что это и с какой целью.

Одно дело, если это реф-спам, мне эти логи в 404 до фонаря.

А другое дело, если эти ссылки на подобных сайтах реально стоят и в URL просто закралась ошибка - тогда караул, если так =)

Но в поисках бек-линков я не вижу вообще подобных сайтов.

Значит это скрипты исполняют, пингуя поисковый бот Google.

Но блин, снова вопрос - зачем? ))

PS: кстати, если я ниче не путаю, то поисковые боты они же тоже через GET к страницам сайта обращаются, верно?

так ты сам написал, что у тебя статика на всем сайте, к статике не должно быть постов, только гет-хед)

самый главный вопрос, сомневаюсь, что кто-то расскажет всю схему)

Да, так должно быть по задумке.

Но щас вот смотрю логи Nginx и вижу, что он пропускает эти запросы, так как статики на подобный запрос у него быть не может.

А бэкенд уже отдает 404 в Nginx обратно.

Запрос всегда один и тот же: /https://site.name/wp-admin/admin-ajax.php - прям вот как есть, с косой чертой перед https.

И всегда POST...

А боты ведь GET делают, верно?

Че, и паяльник с утюгом не помогут? =)