- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
В 2023 году Google заблокировал более 170 млн фальшивых отзывов на Картах
Это на 45% больше, чем в 2022 году
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
Для начала проверить по IP адресам - Яндекс ли это приходит?
Если Яндекс, то как тут писали, достаточно ограничить скорость в вебмастере.
Яндекс не делает более 20-ти запросов в секунду.
А 20 запросов, это мелочь для нормального сервера. Из практики, обычно, не более 5-ти.
Если же кто-то делает запросы маскируясь под Яндекс через User Agent, лично я блочу через CloudFlare.
Есть там в подразделе WAF вкладка Rate Limiting Rules, либо по IP если он индивидуальный.
Для конкретного ответа, нужно полно и внятно подавать информацию, а не рассчитавать на Нострадамусов.
Какие-то динамические страницы появились после переезда VPS на другой ip
поменяйте IP
Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
Т.е. весь сыр-бор только для того, чтобы вынудить вебмастера зайти в Вебмастер и снизить скорость обхода поискового робота?
но Яндекс сам генерит эти url
Если всё так как говорит GuruSite24 то Яндекс получает эти ссылки с внешних ссылок и по ним уже приходит на ваш сайт.
Но в этом случае вы просто снижаете скорость обхода
Жаль нельзя указать Яндекс что он зря тратит серверные ресурсы своего сканера краулера и нашего сервера сайта
Зря или и не зря Яндекс заведомо не знает. Если во внешнем окружении появляются ссылки - он по ним идёт.
Cо своей стороны вы просто снижаете скорость обхода и в robots-е запрещаете обходить те разделы, которые не существуют и по ним вы видите множественную активность.
Не понимаю смысла таких вопросов. Если ты не контролируешь, что и как генерирует твой "движок" -иди в дворники))) Это не лично к вам Антоний, образно.
Тут даже образно несправедливое замечание.
Сайт может быть сделан вебмастером/программистом под ключ и передан в использование заказчику, который конечно не контролирует свой движок, но разобраться с тем как решить вопрос на уровне запрета в robots и выполнить настройку в Вебмастере он может.
Для начала проверить по IP адресам - Яндекс ли это приходит?
Судя по скриншоту статистики Яндекс ходит, поэтому и фиксирует последовательно эти переходы.
Проблема после смены ip
Может на новом ip был какой то сайт с такими url, Яндекс это помнит
А случайно нет редиректа при несовпадении домена в запросе с нужным доменом в конфигах сервера?
Либо так, либо с ip адреса просто редиректит на домен. На новом ip раньше был какой-то сайт или листинг директорий, яндекс всё это пытается найти.
Я недавно с indexnow накосячил и кучу несуществующих страниц в обход отправил, тоже поначалу яндекс ругал 🙃
Т.е. весь сыр-бор только для того, чтобы вынудить вебмастера зайти в Вебмастер и снизить скорость обхода поискового робота?
Как правило, внешне со стороны владельца это выглядит так: сайт стал тормозить или вообще открываться через раз. Все. Почему - непонятно и неизвестно.
Чтобы найти причину, нужно:
- быть зарегистрированным в вебмастере, вероятность малая, если владелец не шарит, как правило это так
- на хостинге должны вестись логи посещений, эта галка нажата обычно через раз, больше даже попадается что логов нет
- уметь читать эти логи, увидеть что это запросы от бота яндекса
- знать, что в вебмастере существует возможность ограничить скорость обхода, вероятность низкая
- знать о существовании файла роботс и что там можно задавать директивы, уметь это делать, вероятность низкая
- знать о том, что это такая атака, хитросделанная - вероятность низкая
Поэтому, как правило, атака эффективна, и фатальна для относительно слабых хостинг планов. Да и последствия вброса такого количества 404 страниц в обход тоже явно будут. Мне попадалось, что яндекс в сутки вот так сканировал до 100 000 несуществующих страниц. И так несколько дней подряд.