robots.txt для DLE

Есть два варианта, закрыть в robots.txt и в htaccess. Вам зачем это нужно?

Disallow: /*html

В robots.txt

На базе DLE сделан сайт знакомств, а так как все анкеты приблизительно похожи и ценности для ПС не несут, решил продвигать только категории, т.е. "знакомства в москве", "знакомства в хабаровске" и т.п. Как в robots.txt закрыть уже расказали выше, но читал у многих сеошников, что порой поисковики игнорируют его и индексируют, потому вариант с .htaccess более надежный. Не подскажете как закрыть индексацию через .htaccess ?

ПС его не игнорируют. У robots.txt рекомендательный характер, и для ваших задач грамотной настройки robots.txt достаточно. Если все таки решили запретить жестко индексацию - пройдите по ссылке запрет индексации. Если лень читать и разбираться - напишите задачу - мы напишем решение.

Статья хорошая, но решения своего вопроса не нашел там. А задача та же - запретить через .htaccess индексацию всех файлов с расширением html. Что туда прописывать?

RewriteCond %{HTTP_USER_AGENT} ^Google.* [OR]

RewriteCond %{HTTP_USER_AGENT} ^Yandex.*

RewriteRule ^.*\.html$ – [F]

Поставил эти строчки, прогнал через анализ сайта в Rookee - вылезла "техническая ошибка: одно из зеркал не работает". Еще есть варианты?

Удаление аппендицита через задницу? Орригинально.

можно запретить доступ бота пс к файлам с расширением .html :

создайте правило для бота нужной пс - типа:

SetEnvIfNoCase User-Agent "^Yandex" search_bot
SetEnvIfNoCase User-Agent "^Googlebot" search_bot

затем пропишите запрет на доступ, например:

<Files "\.(html)$">
Order Deny,Allow
Allow from all
Deny from env=search_bot
</Files>

как-то так..

Вряд ли эта ошибка связана с запретам доступа роботам к файлам *.html. Не работает одно из зеркал. Проверьте зеркала сайта.