Как запретить директорию... которой нет?

F
На сайте с 06.02.2012
Offline
138
632

Яндекс проиндексировал несколько тысяч ссылок на страницы, которых у меня нет. И директории такой нет.

Ссылки вида http://mydomain.ru/mypage.html/бла/бла/бла/бла/..

между слешами вместо бла названия моих директорий или файлов, любых в любом порядке, которые известны Яндексу.

Все эти страницы - дубликаты mypage.html, которая у меня живёт давно в виде файла mypage.html - физическая страница. У меня таких штук 20 есть с давних пор, они достаточно посещаемые и чтоб не загружать базу так и держу их в виде файлов. Они по идее так шустрее обрабатываются сервером nginx, всяко быстрее чем Apache.

Сегодня после апдейта утром заглянул в ЯндексВебмастер и вместо привычных 3к страниц в индексе более 6К.

Как Яндекса угораздило подкинуть более 3к одинаковых страниц с левыми адресами, пока не понял. Но надо же их как-то удалить...

У меня установлено AddType application/x-httpd-php .php .html для страниц html

И почему-то доступен адрес http://mydomain.ru/mypage.html/

После слеша в конце можно писать всё что угодно, хоть романы в стихах, сервер выдаёт одну и ту же страницу mypage.html.

Если убрать AddType application/x-httpd-php .php .html - тогда всё нормально - ошибка 404.

Может это косяк сервера?

Запретил /mypage.html/ в роботсе. Но Яндесу пофиг. Глянул в логи, робот YandexBot/3.0 весь день сканирует эти левые урлы и получает ответ 200.

Проверяю в Вебмастре - пишет что запрещено /mypage.html/ . А сам сканирует как бешеный.

Что будет дальше, не знаю. Уже к вечеру десятки тысяч запросов от этого бота на эти выдуманные урлы.

Создать папку mypage.html нельзя, сервер не позволяет папки с расширением. Ответ 404 для Яндекса от этих левых страниц организовать пока не получается....Как я понял, нужна ошибка 404 или 403.

Убрать AddType application/x-httpd-php .php .html пока не могу, в html-файлах инклуды работают.

Есть ли возможности у сервера запретить доступ к директории /mypage.html/, если такой директории физически не существует?

SI
На сайте с 03.12.2007
Offline
130
#1
-= Онлайн сервисы =-
F
На сайте с 06.02.2012
Offline
138
#2

Sigmo#ID, Спасибо огромное!!! Помогло!

Всё отлично теперь работает в таком варианте:

AcceptPathInfo Off

AddType application/x-httpd-php .php .html

ErrorDocument 404 /404.html

Яндекс теперь получает 404. Надеюсь, через пару апдейтов удалит эту грязь из индекса...

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий