Антоний Казанский

Антоний Казанский
Рейтинг
802
Регистрация
12.04.2007
Должность
Частный интернет-маркетолог и SEO специалист
Интересы
Интернет-маркетинг, SEO, интернет реклама
Подробности на сайте https://akazansky.ru
ArtemKuchin :
Однако, я не понимаю, как их скормить их роботу.

Базовый вопросы индексации должны изначально решаться на уровне структуры сайта.

Как вы выводите навигацию в частом случае - не имеет никакого значения, главное, что по структуре рабочего древа должна генерироваться XML карта сайта, а для отдельных целевых страниц должна быть перелинковка c прямыми ссылками - отсюда ПС и получат необходимые данные для индексации.

-= Serafim =- #:
90% покупателей ушло в маркетплейсы

Это Росстат сообщил?

GuruSite24 #:
а комплексом различных фильтров, в целом против ботов.

Опишите пожалуйста их логику, чтобы было понятно, как можно применить ваш совет с демонстрацией такого результативного скриншота.


sagamorr #:

Если на сайт прут боты с поддельными реферами, то как остальной набор правил поможет отфильтровать данный тафик?

Напишите правило или опишите принцип по которому вы блокируете-фильтруете спам переходы, в которых реферальный сайт подделывается. (В метрике такой трафик в переходы по ссылкам попадает).

Можете привести конкретные рабочие примеры, чтобы их можно было спроецировать на другие рабочие случаи?

GuruSite24 #:
Как правило, внешне со стороны владельца это выглядит так: сайт стал тормозить или вообще открываться через раз.

TC не сообщал о каких-либо проблемах с работой сервера и общую работу сайта он вроде бы тоже не жаловался.

В своём стартовом сообщении он привёл лишь подозрительные обращения по адресам, которых раньше не было.


GuruSite24 #:
как правило, атака эффективна, и фатальна для относительно слабых хостинг планов

Всё это конечно занимательно, но под эффективной атакой как правило понимают достижение результирующей полезности: размещение ссылок, вымогательство денег, конкурентные деструктивные действия, личная месть. 

Тратить ресурсы на то, что в результате скорее всего приведет к таким простым рекомендациями, которые выше изложены - затея довольно напрасная.

sanek1991 #:
Для начала проверить по IP адресам - Яндекс ли это приходит?

Судя по скриншоту статистики Яндекс ходит, поэтому и фиксирует последовательно эти переходы.

Sly32 #:
Не понимаю смысла таких вопросов. Если ты не контролируешь, что и как генерирует твой "движок" -иди в дворники))) Это не лично к вам Антоний, образно. 

Тут даже образно несправедливое замечание.

Сайт может быть сделан вебмастером/программистом под ключ и передан в использование заказчику, который конечно не контролирует свой движок, но разобраться с тем как решить вопрос на уровне запрета в robots и выполнить настройку в Вебмастере он может.

Сергей #:
Жаль нельзя указать Яндекс что он зря тратит серверные ресурсы своего сканера краулера и нашего сервера сайта 

Зря или и не зря Яндекс заведомо не знает. Если во внешнем окружении появляются ссылки - он по ним идёт.

Cо своей стороны вы просто снижаете скорость обхода и в robots-е запрещаете обходить те разделы, которые не существуют и по ним вы видите множественную активность.

Сергей #:
но Яндекс сам генерит эти url

Если всё так как говорит  GuruSite24 то Яндекс получает эти ссылки с внешних ссылок и по ним уже приходит на ваш сайт.

Но в этом случае вы просто снижаете скорость обхода

GuruSite24 #:
Сталкивался с таким. Это очень хитрый ддос. Редкий, но крайне эффективный, не заблочишь же яндекс. На дорах сливаются кучи страниц с десятками тысяч несуществующих ссылок на страницы вашего сайта, и все это загоняется в индекс. Яндекс прется все сканировать, укладывая сервак.
Идите в вебмастер и ставьте скорость обхода на минимум.

Т.е. весь сыр-бор только для того, чтобы вынудить вебмастера зайти в Вебмастер и снизить скорость обхода поискового робота?

Сергей :
Какие-то динамические страницы появились после переезда VPS на другой ip
Сергей :
Как исправить? Пока добавил в robots.txt но мне кажется что парсер Яндекса сошел сума.

У вас в структуре сайта есть раздел avnum? Сайт не взламывали?

Движок нигде не генерирует ссылки на эти страницы?

Очень похоже на взлом и/или вирусную активность.

Всего: 12938