Можете мне объяснить, что делать с этим? По статистике отказы происходят на страницах с буквами gnccmd - это страницы тегов, пагинации и пользователей. Это кто-то скачал базу сайта или воспользовался ей и пуляет туда своих ботов? Потому что на них приходятся прямые заходы и отказы - 0 секунд пребывания на сайте. Это страницы малоинформативны.
С помощью chatgpt сделали js-проверку, правда, она не сработала и все равно отказы не уменьшились. JS-проверку удалил потом.
Можно ли как-то сделать правильную проверку на такого типа страниц?
И вот на скрине показываю, что сделали. Какие-то лимиты, предложенные ИИ.
Также прикрепляю скрин заблокированных ботов и IP, некоторые правила там отключили.
Смотри с каких IP ходят на твои страницы с отказами, я уже до этого написал, что nginx особо тебе не поможет.
Берешь лог за сутки, смотришь кто там в топ-10 и их проверяешь. Что за сегмент и Страна.
Я вообще угараю с chatgpt. Он часто путается и ошибается. Где-то можно его даже прогнуть, сказав - а почему так, давай вот так лучше. Он скажет - да, точно, так будет даже лучше)
Если нифига не разбираешься в теме, то ИИ не панацея. В то же время благодаря ему многое для себя открыл))
В ИИ можно аномалии посмотреть, а потом проверить IP через базу ipinfo_io.
К примеру выше Анти БОТ написал IP, проверяем его по базе и оказывается это облако Гугл, а оттуда кто хочет может ходить.
alaev#: У них на сайте написано, что они будут хранить бэкапы 30 суток бесплатно. Где бэкапы? И где они хранились? На диске с 100500 сайтов одновременно?)))
Даже если они есть, чтобы их просто скопировать с одного datastore на другой, через 1 Г/бит, нужна туча времени.
Передача 5 петабайт (ПБ) данных со скоростью 1 гигабит в секунду (Гбит/с) займет около 463 дней (примерно 1 год и 3 месяца) при расчете в десятичной системе.
Бэкапы лучше делать на HDD в плане долговечности/надежности носителя.
Сегодня закинул на два сайта по 10 штук, все скушал
У меня роботы шныряют по сайтам, что-то там тянут, но новые страницы не заходят в индекс.
Похоже, что Яндекс сломался 😀
и банишь москву, россию, мегафон? )
Да там похоже можно банить всех :)
Сначала мусор по странам, потом уже точечно разбирать, с поведенческими ботами это конечно не поможет, но все равно отказы должны снизится.
yalol проверь еще в метрике, чтобы данные приходили с твоего сайта и поддоменов.Можете мне объяснить, что делать с этим? По статистике отказы происходят на страницах с буквами gnccmd - это страницы тегов, пагинации и пользователей. Это кто-то скачал базу сайта или воспользовался ей и пуляет туда своих ботов? Потому что на них приходятся прямые заходы и отказы - 0 секунд пребывания на сайте. Это страницы малоинформативны.
С помощью chatgpt сделали js-проверку, правда, она не сработала и все равно отказы не уменьшились. JS-проверку удалил потом.
Можно ли как-то сделать правильную проверку на такого типа страниц?
И вот на скрине показываю, что сделали. Какие-то лимиты, предложенные ИИ.
Также прикрепляю скрин заблокированных ботов и IP, некоторые правила там отключили.
Смотри с каких IP ходят на твои страницы с отказами, я уже до этого написал, что nginx особо тебе не поможет.
Берешь лог за сутки, смотришь кто там в топ-10 и их проверяешь. Что за сегмент и Страна.
Я вообще угараю с chatgpt. Он часто путается и ошибается. Где-то можно его даже прогнуть, сказав - а почему так, давай вот так лучше. Он скажет - да, точно, так будет даже лучше)
Если нифига не разбираешься в теме, то ИИ не панацея. В то же время благодаря ему многое для себя открыл))
В ИИ можно аномалии посмотреть, а потом проверить IP через базу ipinfo_io.
К примеру выше Анти БОТ написал IP, проверяем его по базе и оказывается это облако Гугл, а оттуда кто хочет может ходить.
Дорого?
Мне казалось, что самый большой расход - комп.
Тысяч в 50-60 можно уложиться.
С ранжированием тоже что-то непонятное.
У них на сайте написано, что они будут хранить бэкапы 30 суток бесплатно. Где бэкапы? И где они хранились? На диске с 100500 сайтов одновременно?)))
Даже если они есть, чтобы их просто скопировать с одного datastore на другой, через 1 Г/бит, нужна туча времени.
Передача 5 петабайт (ПБ) данных со скоростью 1 гигабит в секунду (Гбит/с) займет около 463 дней (примерно 1 год и 3 месяца) при расчете в десятичной системе.