Как запретить поисковикам обращаться к index.php там где его нет?

WD
На сайте с 16.09.2009
Offline
118
301

Добрый день.

УРЛ многих страниц сайта имеет вид типа: сайт.рф/текст/текст/число

В .htaccess прописан RewriteRule, что для работы со страницей берем число (арктикул товара)

RewriteRule ^(.*)/(.*)/([0-9]+)$ /index.php?param=$3 [L]

Но поисковики (чаще всего яндекс судя по логам) пытается обратиться как  сайт.рф/текст/текст/index.php что приводит к 404 ошибке

Как поисковикам запретить обращаться по такому пути?

Vladimir
На сайте с 07.06.2004
Offline
562
#1
White Devil :

Но поисковики (чаще всего яндекс судя по логам) пытается обратиться как  сайт.рф/текст/текст/index.php что приводит к 404 ошибке

Как поисковикам запретить обращаться по такому пути?

Это не приводит к какой-то ошибке. Это название ответа - 404 Error
И это как раз тот ответ ( 404) который и должен отдавать сайт на несуществующие  страницы

Аэройога ( https://vk.com/aeroyogadom ) Йога в гамаках ( https://vk.com/aero_yoga ) Аэройога обучение ( https://aeroyoga.ru ) и просто фото ( https://weandworld.com )
LEOnidUKG
На сайте с 25.11.2006
Offline
1753
#2
White Devil :
Но поисковики (чаще всего яндекс судя по логам) пытается обратиться как  сайт.рф/текст/текст/index.php что приводит к 404 ошибке

Так это его проблемы, вот и получается 404 страницу.

Я думаю вам надо задаться вопросом другим, откуда он берёт этот адрес. Проверить сайт не указан ли где-то этот урл. Проверьте Яндекс вебмастер, возможно там где-то светиться ссылка на index.php 

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
Vladimir SEO
На сайте с 19.10.2011
Offline
1854
#3
В Гугл консоли нужно сделать проверку урла и посмотреть какие урлы на него ссылаются 
Эксперт по продуктам Google https://support.google.com/profile/58734375 ᐈ Продвижение коммерческих сайтов https://kulinenko.com/
Михаил
На сайте с 02.03.2007
Offline
174
#4
LEOnidUKG #:

вам надо задаться вопросом другим, откуда он берёт этот адрес. Проверить сайт не указан ли где-то этот урл. Проверьте Яндекс вебмастер, возможно там где-то светиться ссылка на index.php 

Совсем необязательно. Время от времени с той или иной целью набираю в адресной строке что-то вроде «[адрес сайта]/абра-кадабра-септ-аккорд-олеонавт/», к концу дня в индексации Я-Вебмастером уже вижу этот адрес, с 404-м ответом, естественно. Достаточно периодических попыток стука по несуществующему адресу – и Метрика сообщает этот адрес Вебмастеру, а тот каждый раз пытается проиндексировать его. Особенно радуют орды дятлов-краулеров с запросами типа «[сайт]/wp-admin/» – занятно смотреть, как Вебмастер вслед за ними то и дело пытается найти этот ветхозаветный URL в моей самописке.

Вот видишь, Алиса, что нужно всё время бежать, чтобы оставаться на месте! А чтобы куда-нибудь добраться – нужно бежать вдвое быстрее!
W1
На сайте с 22.01.2021
Offline
306
#5
White Devil :

В .htaccess прописан RewriteRule, что для работы со страницей берем число (арктикул товара)
RewriteRule ^(.*)/(.*)/([0-9]+)$ /index.php?param=$3 [L]

Это вообще не относится к делу.

Мой форум - https://webinfo.guru –Там я всегда на связи
LEOnidUKG
На сайте с 25.11.2006
Offline
1753
#6
Михаил #:

Совсем необязательно. 

Конечно есть куча вариантов, но проверить стоит всё же.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий