Неизвестные адреса страниц в поиске

K
На сайте с 23.03.2011
Offline
10
868

Неизвестно почему, но в поиске Яндекса периодически выскакивают страницы с такой ссылкой:

http://www.sait.ru/service.html/feed, т.е. сайт и добавление feed, не понимаю от куда они берутся, и почему они не определяются как несуществующие страницы, так же если в конце еще подписать так http://www.sait.ru/service.html/123456 то страница тоже открывается.

Вот что написано в .htaccess:


AddType application/x-httpd-php .html .htm
ErrorDocument 404 http://www.sait.ru/404.html

RewriteEngine On
RewriteCond %{HTTP_HOST} ^sait.ru
RewriteRule (.*) http://www.sait.ru/$1 [R=301,L]

Сайт на чистом коде без какого-то движка.

Как можно исправить этот глюк?

Mik Foxi
На сайте с 02.03.2011
Offline
1213
#1

Потому что где-то есть такие ссылки ведущие на эти страницы.

А движок кривой и принимает такие адреса.

Исправьте движок, чтоб на неправильные страницы отдавало 404 ошибку.

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/
K
На сайте с 23.03.2011
Offline
10
#2

В том то и дело что сайт без движка, страницы .html

И как сделать так чтобы неправильные страницы считались как ошибка, вроде прописал уже все.

Mik Foxi
На сайте с 02.03.2011
Offline
1213
#3

AddType application/x-httpd-php .html .htm говорит что можно юзать php в html страницах. Вставьте проверку правильности урла на php :)

J
На сайте с 28.06.2011
Offline
83
#4

Как то так:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^sait.ru
RewriteRule (.*)\.html http://www.sait.ru/$1 [R=301,L]

Все ссылки оканчивающиеся на .html будут попадать в лапы сайту, а все остальные идти лесом. Поисковики повыкидывают битые линки и будет вам счастье. (Этот код не претендует на работоспособность и соответствие вашей задачи. Важен принцип).

K
На сайте с 23.03.2011
Offline
10
#5
jmas:
Как то так:

RewriteEngine On

RewriteCond %{HTTP_HOST} ^sait.ru
RewriteRule (.*)\.html http://www.sait.ru/$1 [R=301,L]


Все ссылки оканчивающиеся на .html будут попадать в лапы сайту, а все остальные идти лесом. Поисковики повыкидывают битые линки и будет вам счастье. (Этот код не претендует на работоспособность и соответствие вашей задачи. Важен принцип).

Так ничего не работает, так же можно ввести любой адрес вида http://www.sait.ru/service.html/fsdfs и он открывает страницу service.html только с таким адресом.

Страница выходит как ошибка только если убрать строку в .htaccess:

AddType application/x-httpd-php .html .htm

Но тогда не работают php вставки на страницах html.

DiAksID
На сайте с 02.08.2008
Offline
236
#6

смотрите свою 404.html - может там переадресация вшита по header, и проверьте заодно установлен ли код возварата 404.

show must go on !!!...
gormarket
На сайте с 29.12.2010
Offline
47
#7

kachru, добавьте к тому коду .htaccess что Вы привели в топике строку:


RewriteRule ^(.*\.html).+$ http://%{HTTP_HOST}/404.html? [R=301,L]

Тогда при обращении к проблемным страницам будет выдаваться редирект на страницу ошибки.

А еще лучше вместо выдачи ошибки сделайте 301 редирект на правильный адрес:


RewriteRule ^(.*\.html).+$ http://%{HTTP_HOST}/$1 [R=301,L]
Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)
Mik Foxi
На сайте с 02.03.2011
Offline
1213
#8

вставить в страницы типа:

if (!file_exists($_SERVER['REQUEST_URI'])) {

header("HTTP/1.1 404 Not Found");

header("Status: 404 Not Found");

die('404 Not Found');

}

K
На сайте с 23.03.2011
Offline
10
#9
gormarket:
kachru, добавьте к тому коду .htaccess что Вы привели в топике строку:

RewriteRule ^(.*\.html).+$ http://%{HTTP_HOST}/404.html? [R=301,L]

Тогда при обращении к проблемным страницам будет выдаваться редирект на страницу ошибки.

А еще лучше вместо выдачи ошибки сделайте 301 редирект на правильный адрес:


RewriteRule ^(.*\.html).+$ http://%{HTTP_HOST}/$1 [R=301,L]

Спасибо большое! Это помогло, теперь все отлично работает.

Поставил как и написали, нужно вместо %{HTTP_HOST} ставить имя домена?

Заранее спасибо!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий