Выборочный запрет для роботов

NS

6

NewsSearch

5 декабря 2001, 21:14

698

Всем привет.

А можно-ли поисковому роботу запретить индексировать выборочные страницы (лежат в одной директории).

Что-то типа:

Disallow: /cgi-bin/sta*.*

Спасибо.

F

116

funsad

5 декабря 2001, 21:43

#1

Originally posted by NewsSearch:
Что-то типа:
Disallow: /cgi-bin/sta*.*

В данном случае да, только регулярные выражения в robots.txt неприменимы. Должно быть так:

Disallow: /cgi-bin/sta

С уважением,

Александр Садовский.

NS

6

NewsSearch

5 декабря 2001, 21:52

#2

В данном случае да, только регулярные выражения в robots.txt неприменимы. Должно быть так:
Disallow: /cgi-bin/sta

Спасибо.

А как быть с параметрами. С разных страниц вызывается:

.../cgi-bin/sta.dll?id1=xx&id2=yy

482

Sergey Petrenko

6 декабря 2001, 00:19

#3

Насколько я знаю, робот, прочитав команду, описанную Садовским, не будет индексировать все файлы, названия которых начинаются со sta.