Два вопроса по .htaccess

CW
На сайте с 07.09.2005
Offline
158
807

Приветствую, есть пара вопросов по .htaccess, подскажите, плз.

1. Имеем в файле такую запись

<Files "*.txt">

Deny from all

</files>

которая запрещает роботам, да и вообще всем, получать доступ к .txt Как сделать так, чтобы запретить доступ ко всем файлам .txt, кроме robots ?

И второе: как ограничить отдачу документов роботу на один запрос? Допустим, чтобы за одно посещение он съедал не более 100 страниц, допустим.

Спасибо.

Сквозь холод тумана шагаю в пальтишке Куплю сайтов с Adsense или еще что-нибудь
Robin_Bad
На сайте с 24.12.2007
Offline
85
#1

ClockWorkOrange, для первого:

<FilesMatch "(?<!robots)\.txt$">

Order allow,deny

Deny from all

</FilesMatch>

а вот насчёт второго не подскажу

SANRone
На сайте с 05.09.2008
Offline
49
#2
ClockWorkOrange:

И второе: как ограничить отдачу документов роботу на один запрос? Допустим, чтобы за одно посещение он съедал не более 100 страниц, допустим.

Наверно не как...

Можно задает таймут индексации страницы.

Прописать в robots

Crawl-delay: 5

таймут в 5 секунд между страницами.

Crawl-delay: 10

таймут в 10 секунд между страницами.

CW
На сайте с 07.09.2005
Offline
158
#3
Robin_Bad:
ClockWorkOrange, для первого:

<FilesMatch "(?<!robots)\.txt$">
Order allow,deny
Deny from all
</FilesMatch>

а вот насчёт второго не подскажу

Спасибо, работает 🍾

Наверно не как...
Можно задает таймут индексации страницы.
Прописать в robots
Crawl-delay: 5
таймут в 5 секунд между страницами.
Crawl-delay: 10
таймут в 10 секунд между страницами.

Спасиб.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий