Алеандр

Конструкция if (preg_match.. или if (mb_stristr.., например.

if (mb_stristr($value,'авто','utf-8') || mb_stristr($value,'машины','utf-8')) { echo '<a href="' ... }

Код по памяти, не проверял. Если что - проверьте правильность и допишите. Могут быть вариации с точкой вхождения поиска, чтобы слово было именно отдельным и т.д.

Они уже давно оба умерли, не ворошите дедушку! 😀

Все сразу. В том числе, если пользователь зашел с компа, он будет видеть, что у вас есть приложение и для его телефона. Что, собственно, хорошо. Посмотрит и пойдет скачает уже на телефон, если ему это интересно.

У него был вопрос ради вопроса, не более того.

На некоторых хостингах боты по типу ahrefs блокируются превентивно, еще ДО доступа к сайту, например, на уровне nginx.
Если я верно понимаю написанную ошибку - робот ahrefs не смог получить не страницу, а сам robots.txt.

Посмотрите логи вашего сайта, возможно, что этот бот блокируется без вашего участия. Следовательно, нужно писать в поддержку хостера.

---
Залез в логи у себя, вот так делает мой хостер:

ModSecurity: Access denied with code 403, [Rule: 'REQUEST_HEADERS:User-Agent' 'MJ12bot|AhrefsBot|BLEXBot|bingbot|SemrushBot|musobot|ltx71|
SentiBot|Screaming|DomainCrawler'] [id "1"] [msg "Bad User-Agent"] [hostname "***"] [uri "/robots.txt"]

Можно попробовать подать в Вебмастере на переобход эту страницу, чтобы он получил 404 по ней и обновил данные у себя.

В теме раньше упоминал
Но, это не для всех подходит, в зависимости от того, какие боты. У меня вторая волна была "простая".

Тогда почему не через вебмастер, роботс и, собственно, физическое удаление страницы?
Или это очередная мифическая задачка из вакуума, лишь бы придумать?

Удалить можно, если она не требуется в качестве зависимости для другого ПО на сервере.
Используется для перехода от пользователя к руту, например.

Если у вас свежая ОС с обновлениями - просто обновите этот пакет.
Если старая ОС и вы не используете sudo - можете снести.

Никак. В гугле нет "У вас фильтр такой-то". Исключение - ручные меры. Если в серчконсоли в этом разделе пусто и ручные не накладывали, то гадать на кофейной гуще, что не так.

Раз сайт не молодой, то, вероятнее всего, какой-то из фильтр из общего зоопарка гугла. Скорость - улучшать сайт, убирать лишнее, смотреть на каком сервере/хостинге находится, оптимизировать скрипты и контент. По ссылкам ничего не скажу, но вряд ли они помогут с индексацией. Полагаю, что проблема не в индексации, а фильтрах.

Что делать: делать анализ сайта, рефакторинг кода, смотреть, что может быть не так с контентом и доступом. А то, может, у вас там контент такой, который гугл вообще не любит. Это все общие и очевидные рекомендации, по факту - анализировать и улучшать. Без пациента вам тем более никто ничего конкретного не скажет.

И да, главное, чтобы все изменения не во вред Яндексу. А то в гугле может и не пойти, а яндекс отвалиться )