- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Какие-то динамические страницы появились после переезда VPS на другой ip
Страниц таких нет, проверено. В заголовках все чисто.
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
Страниц таких нет, проверено. В
Яндекс DDOSсит
Этого Яндекс никогда не делал и не делает.
Какие-то динамические страницы появились после переезда VPS на другой ip
Страниц таких нет, проверено. В заголовках все чисто.
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
Метрика, обход по счетчику? Где-то вылезают url, кто-то по ним ходит, возможно бот. Смотри лог.
Какие-то динамические страницы появились после переезда VPS на другой ip
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
У вас в структуре сайта есть раздел avnum? Сайт не взламывали?
Движок нигде не генерирует ссылки на эти страницы?
Очень похоже на взлом и/или вирусную активность.
Какие-то динамические страницы появились после переезда VPS на другой ip
Страниц таких нет, проверено. В заголовках все чисто.
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.
Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
И запретить индексацию всего лишнего в роботс.
Метрика, обход по счетчику? Где-то вылезают url, кто-то по ним ходит, возможно бот. Смотри лог.
Обход - да включен, но Яндекс сам генерит эти url. Логи в Доль и поперек изучены
У вас в структуре сайта есть раздел avnum? Сайт не взламывали?
Движок нигде не генерирует ссылки на эти страницы?
Очень похоже на взлом и/или вирусную активность.
Нет, сайт чист. Вручную скрипты проверены.
Проблема после смены ip
Может на новом ip был какой то сайт с такими url, Яндекс это помнит
Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.
И запретить индексацию всего лишнего в роботс.
Спасибо, реально может быть. Жаль нельзя указать Яндекс что он зря тратит серверные ресурсы своего сканера краулера и нашего сервера сайта
Движок нигде не генерирует ссылки на эти страницы?
Не понимаю смысла таких вопросов. Если ты не контролируешь, что и как генерирует твой "движок" -иди в дворники))) Это не лично к вам Антоний, образно.
Ты пишешь роутинг, ты настраиваешь Нжинкс и все, нет никакой магии! Запрос на несуществующую страницу перенаправляешь на 404. Этого достаточно для того чтобы никакие дорвеи не загоняли в индекс того, чего не существует. Бот поисковика, пытаясь спарсить такую страницу будет получать правильный ответ о несуществующей -404 и не пытаться проиндексировать мусор. Так же не забыть про страницы с queryparamsтам тоже всего 4 действия, которые защитят. Но тут все сеошники, лучше меня их знают. Но на всякий:
That's it!!
PS все ваши беды от этих "движков"... Используете, а разобраться как работает - не хотите.
Обход - да включен, но Яндекс сам генерит эти url. Логи в Доль и поперек изучены
Яндекс по таким URL приходит при активации счетчика. URL генерирует скорее спам-бот (парсер, накрутчик пф, etc). Страницы у вас отдают 404 ошибку. Т.е. робот зашел на них, но в поиск не добавит. В логах посмотрите кто обращается на эти страницы и далее думайте о блокировке ip, asn etc. Либо отключите обход по счетчику. Либо уберите счетчик на 404 странице (не пробовал).