Яндекс DDOSсит сайт несуществующими страницами

12 3
Сергей
На сайте с 10.07.2022
Offline
43
1094

Какие-то динамические страницы появились после переезда VPS на другой ip

Страниц таких нет, проверено. В заголовках все чисто.

Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.


jpg 1.jpg
Открытый проект для юристов в Москве и Московской области https://ask.mosdok.ru сопровождение сделок, регистрация домов, оформление строительства
SeVlad
На сайте с 03.11.2008
Offline
1609
#1
Сергей :
Страниц таких нет, проверено. В
То, что ты как-то проверил - ещё не гарантирует что их действительно нет. И самое главное - что нет на них ссылок.
Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
W1
На сайте с 22.01.2021
Offline
306
#2
Сергей :

Яндекс DDOSсит

Этого Яндекс никогда не делал и не делает.

Мой форум - https://webinfo.guru –Там я всегда на связи
M
На сайте с 22.02.2013
Offline
111
#3
Сергей :

Какие-то динамические страницы появились после переезда VPS на другой ip

Страниц таких нет, проверено. В заголовках все чисто.

Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.


Метрика, обход по счетчику? Где-то вылезают url, кто-то по ним ходит, возможно бот. Смотри лог.

Антоний Казанский
На сайте с 12.04.2007
Offline
780
#4
Сергей :
Какие-то динамические страницы появились после переезда VPS на другой ip
Сергей :
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.

У вас в структуре сайта есть раздел avnum? Сайт не взламывали?

Движок нигде не генерирует ссылки на эти страницы?

Очень похоже на взлом и/или вирусную активность.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Анти БОТ
На сайте с 14.03.2020
Offline
126
#5
Сергей :

Какие-то динамические страницы появились после переезда VPS на другой ip

Страниц таких нет, проверено. В заголовках все чисто.

Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.


Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
И запретить индексацию всего лишнего в роботс.

Защита сайта от поведенческих ботов, настройка АнтиБот систем, фильтрация ботов для Яндекс Директ - https://antibot24.ru
Сергей
На сайте с 10.07.2022
Offline
43
#6
montiorko #:

Метрика, обход по счетчику? Где-то вылезают url, кто-то по ним ходит, возможно бот. Смотри лог.

Обход - да включен, но Яндекс сам генерит эти url.  Логи в Доль и поперек изучены

Сергей
На сайте с 10.07.2022
Offline
43
#7
Антоний Казанский #:

У вас в структуре сайта есть раздел avnum? Сайт не взламывали?

Движок нигде не генерирует ссылки на эти страницы?

Очень похоже на взлом и/или вирусную активность.

Нет, сайт чист. Вручную скрипты проверены.

Проблема после смены ip

Может на новом ip был какой то сайт с такими url, Яндекс это помнит

Сергей
На сайте с 10.07.2022
Offline
43
#8
GuruSite24 #:

Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
И запретить индексацию всего лишнего в роботс.

Спасибо, реально может быть. Жаль нельзя указать Яндекс что он зря тратит серверные ресурсы своего сканера краулера и нашего сервера сайта 

S3
На сайте с 29.03.2012
Offline
361
#9
Антоний Казанский #:
Движок нигде не генерирует ссылки на эти страницы?

Не понимаю смысла таких вопросов. Если ты не контролируешь, что и как генерирует твой "движок" -иди в дворники))) Это не лично к вам Антоний, образно. 

Ты пишешь роутинг, ты настраиваешь Нжинкс  и все, нет никакой магии! Запрос на несуществующую страницу перенаправляешь на 404. Этого достаточно для того чтобы никакие дорвеи не загоняли в индекс того, чего не существует. Бот поисковика, пытаясь спарсить такую страницу будет получать правильный ответ о несуществующей -404 и не пытаться проиндексировать мусор.  Так же не забыть про страницы с queryparamsтам тоже всего 4 действия, которые защитят. Но тут все сеошники, лучше меня их знают. Но на всякий:

OPTION #1

Try to add some Disallow on robots.txt. Which would not allow Google to crawl my page when there is a query string present?

Something like Disallow: /products?

OPTION #2

Let Google crawl it, but render a noindex meta tag when the page is rendered with active filters (which implies the query string would also be active).

OPTION #3

Try to detect (from user-agent) that a robot is fetching the page /products?something, and 301 redirect it to the root page /products without the query string.

OPTION #4

Let google crawl it and always keep a rel canonical pointing to the URL /products without the query string and trust that Google will most likely not index any links with query strings.

That's it!! 
PS все ваши беды от этих "движков"... Используете, а разобраться как работает - не хотите.

M
На сайте с 22.02.2013
Offline
111
#10
Сергей #:

Обход - да включен, но Яндекс сам генерит эти url.  Логи в Доль и поперек изучены

Яндекс по таким URL приходит при активации счетчика. URL генерирует скорее спам-бот (парсер, накрутчик пф, etc). Страницы у вас отдают 404 ошибку. Т.е. робот зашел на них, но в поиск не добавит. В логах посмотрите кто обращается на эти страницы и далее думайте о блокировке ip, asn etc. Либо отключите обход по счетчику. Либо уберите счетчик на 404 странице (не пробовал).

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий