Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Запрет на скачку сайта!

12
S
На сайте с 03.05.2004
Offline
25
seva
#11

И вроде вся эта запись противоречит стандартам

А не страшно что автор сказал что это протиоречит стандартам?

Все для мобил (http://www.gsmsoft.ru) Помогите оптимизировать! Спасибо
[R
На сайте с 12.03.2004
Offline
5
[SeRGi]
#12
Я вот недавно видел на одном известном ресурсе такой код в robots.txt
...

Для Teleport и wget это действительно в некоторых случаях поможет.

Хотя, у меня по умолчанию даже Teleport Pro (1.29.1951) прикидывается IE 5.0

Многие из программ скачки сайтов файл robots.txt не учитывают совсем и не собираются это делать.

Так что от плагиата данный метод не поможет совсем.

А самую малось трафик урезать можно...

AS
На сайте с 01.07.2003
Offline
135
allStars
#13

Надо использовать .htaccess, что-то типа 

RewriteEngine on

RewriteBase /



RewriteCond %{HTTP_USER_AGENT} "DTS Agent" [NC]

RewriteRule ^.*$ - [F]

И посылать их на .... Forbidden

Artemyev_Maksim
На сайте с 25.11.2003
Offline
26
Artemyev_Maksim
#14

http://www.master-x.com/articles/article/57/

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий