Форум Практика оптимизации Частные вопросы - ранжирование, индексация, бан

В статистике обхода Я.Вебмастера ежедневно десятки несуществующих страниц (Интернет магазин)

AB
На сайте с 07.06.2016
Offline
43
Alex-bash
441
Всем добрый день!
Помогите разобраться, пожалуйста.

Сайт интернет магазина на CMS Opencart (ocStore 2.3.0.2.3)
C 18-20 сентября 2020 в Вебмастере в статистике обхода появляются пустые несуществующие категории (не-ЧПУ URL вида index.php?route=product/category&path=..) сразу с 404 ответом.
В гугле все без изменений.
Появляются ежедневно в больших количествах (от 15 до 50 и более страниц в день). 

При проверке статуса URL через тот же вебмастер "Страница обходится роботом, но отсутствует в поиске". В индексе Гугла их тоже нет.
ЧПУ включены и на всех страницах сайта работают нормально, если это важно.

Кто сталкивался с такой ситуацией, подскажите, в чем причина и как можно решить? 
Спасибо!

Есть подозрения на ошибки CMS, но их пока не обнаружили
с сервером тоже все ок
возможен парсинг сайта ботами?
на "обновление" яндекса думали, но страницы из индекса не выкидывает, проседают позиции.
zveroangel
На сайте с 14.04.2011
Offline
173
zveroangel
#1 
Disallow: */?

да вечно что-то нарывает, чего в природе нет. если в поиск не берет - то все равно куда он ходит.

Ruceek
На сайте с 21.09.2010
Offline
90
Ruceek
#2
Если вдруг поможет. Такую штуку замечаю именно у Яндекса очень давно, вообюще непонятно откуда он берёт некоторые адреса страниц, которых физически вообще не существует.В общем ловите официальный ответ от техподдержки Яндекса,где понятно,что нихрена не понятно и живите с этим:

По-видимому, робот где-то на вашем сайте или в интернете обнаружил ссылки на страницы по таким адресам, поэтому попытался их проиндексировать. Робот автоматически пытается посетить каждую страницу, ссылка на которую ему известна. К сожалению, установить, откуда именно роботу стали известны те или иные страницы, не представляется возможным, поскольку в нашей базе не хранятся такие данные.

Они могли появиться в базе робота по следующим причинам:
- на указанные страницы ведут или вели ранее внешние ссылки.
Вы можете проанализировать входящие ссылки на страницы при помощи общедоступных инструментов.
- некорректно указаны относительные ссылки, отсутствует тег <base>.
Проверьте, присутствует ли тег на всех страницах сайта и убедитесь в корректности указанных ссылок;
- имеются ошибки на стороне CMS или «движка» сайта.
В этом случае мы рекомендуем обратиться к разработчикам CMS или поискать информацию на специализированных форумах;
- страницы могли появиться на сайте в результате его взлома, возможно, что источник заражения все еще находится в файлах вашего сайта, поэтому мы рекомендуем тщательно проверить все файлы на предмет наличия в них постороннего или подозрительного кода. Некоторые советы по поиску кода вы можете найти на страницах нашей Справки:
https://yandex.ru/support/webmaster/security/cure.html
https://yandex.ru/support/webmaster/security/send-yandex.html

Если вы не хотите, чтобы робот обращался к этим страницам, вы можете запретить их индексирование в файле robots.txt. В этом случае робот будет знать, что индексировать их не нужно, и не будет к ним обращаться. А если на страницы не ведут внешние ссылки, со временем информация о них будет удалена из Яндекс.Вебмастера.

Подробнее о файле robots.txt вы можете прочитать в нашей Справке.
Рекомендую вам также воспользоваться инструментом проверки файла robots.txt. Непосредственно в инструменте вы можете корректировать указания и проверять, запрещены или разрешены необходимые вам страницы к индексированию.

I0
На сайте с 09.11.2008
Offline
96
Igor 079600
#3

Была примерно такая же беда. Попробуйте очистить кэш страниц (system/storage/cache). Не знаю тонкостей, но при занесении новых товаров в магазин или создании новых категорий/подкатегорий, даже при включенном ЧПУ, урлы новых страниц остаются такими кракозяблами, пока не очистить кэш. Не знаю почему, но любит Opencart такой фигней заниматься. Только забудешь почистить кэш, после занесения новинок, и на тебе.

Мне помогло.

LiteCat
На сайте с 03.05.2007
Offline
236
LiteCat
#4
Мой совет - очень тщательно технически всё протестировать, может где-то реально ссылки были. И поискать во внутренних ссылках адреса, по которым стояли ссылки. Чаще всего что-то да найдёте)
Vladimir
На сайте с 07.06.2004
Offline
530
Vladimir
#5
Alex-bash :

C 18-20 сентября 2020 в Вебмастере в статистике обхода появляются пустые несуществующие категории (не-ЧПУ URL вида index.php?route=product/category&path=..) сразу с 404 ответом.

Появляются ежедневно в больших количествах (от 15 до 50 и более страниц в день). 

Есть подозрения на ошибки CMS, но их пока не обнаружили

- Существуют ссылки на такие страницы.  Ищем внутренние.
Могут быть и внешними. Авито например генерит страница/?****
404 нормальный ответ сервера, лучше 301 на страницу/

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий