Не получится, умрут сами через месяц. С вашей помощью раньше
Спасибо, попробовал) - и та же самая проблема. Пожалуй отпишу в поддержку т.к. странности .
На некоторых хостингах боты по типу ahrefs блокируются превентивно, еще ДО доступа к сайту, например, на уровне nginx.Если я верно понимаю написанную ошибку - робот ahrefs не смог получить не страницу, а сам robots.txt.
Посмотрите логи вашего сайта, возможно, что этот бот блокируется без вашего участия. Следовательно, нужно писать в поддержку хостера.
---Залез в логи у себя, вот так делает мой хостер:
ModSecurity: Access denied with code 403, [Rule: 'REQUEST_HEADERS:User-Agent' 'MJ12bot|AhrefsBot|BLEXBot|bingbot|SemrushBot|musobot|ltx71|SentiBot|Screaming|DomainCrawler'] [id "1"] [msg "Bad User-Agent"] [hostname "***"] [uri "/robots.txt"]
В теме раньше упоминалНо, это не для всех подходит, в зависимости от того, какие боты. У меня вторая волна была "простая".
Удалить можно, если она не требуется в качестве зависимости для другого ПО на сервере.Используется для перехода от пользователя к руту, например.Если у вас свежая ОС с обновлениями - просто обновите этот пакет.Если старая ОС и вы не используете sudo - можете снести.
Никак. В гугле нет "У вас фильтр такой-то". Исключение - ручные меры. Если в серчконсоли в этом разделе пусто и ручные не накладывали, то гадать на кофейной гуще, что не так.
Раз сайт не молодой, то, вероятнее всего, какой-то из фильтр из общего зоопарка гугла. Скорость - улучшать сайт, убирать лишнее, смотреть на каком сервере/хостинге находится, оптимизировать скрипты и контент. По ссылкам ничего не скажу, но вряд ли они помогут с индексацией. Полагаю, что проблема не в индексации, а фильтрах.
Что делать: делать анализ сайта, рефакторинг кода, смотреть, что может быть не так с контентом и доступом. А то, может, у вас там контент такой, который гугл вообще не любит. Это все общие и очевидные рекомендации, по факту - анализировать и улучшать. Без пациента вам тем более никто ничего конкретного не скажет.
И да, главное, чтобы все изменения не во вред Яндексу. А то в гугле может и не пойти, а яндекс отвалиться )
У меня 4 декабря жёсткий спад по одному проекту, который так и не восстановился.
Конечно может быть причиной то, что были технические проблемы на самом сайте, но они были устранены в тот же день, трафик так и не вернулся. Боты гуляли и гуляют до сих пор. Отсекать их стал только вчера.
Трафик не с гугла, случаем, упал? Как раз 4го числа был какой-то ап, и у меня слегка зацепило, что, кстати, тоже совпало с началом пришествия ботов. Правда, потом вроде стал откатываться в норму, а ботов я отключил на второй волне.
