Правильный редирект с 404 ошибки?

Доброе всем!

Всегда использовал вот такую запись в .htaccess

ErrorDocument 404 http://moy-site.ru/

Но тут недавно заметил что в логах сервера идут ошибки, не помню точно какие, но мол нельзя ссылаться на сайт, можно только на страницы.

Переделал на

ErrorDocument 404 /index.php

Ошибок теперь нет, но встала другая проблема.

Раньше если редиректило на главную и в строке браузера я видел - http://moy-site.ru/

то теперь, хоть и редиректит на главную, но в строке браузера оставется хвост, после адреса - http://moy-site.ru/nesychestvuushaya-stranica.htm

Как бы сие исправить?