Регулярки в robots.txt

[Удален]
655

Бывают? У меня есть несколько адресов вида

/~cart

/~catalog

/~out

и т.д., причем весь их список предсказать нельзя, можно ли в роботс.тхт запретить индексацию всех адресов, начинающихся на тильду (~) ?

stifler_x
На сайте с 19.06.2008
Offline
193
#1
[Удален]
#2

спасибо, а гугль так же адекватно воспринимает?

Таггу x_x
На сайте с 31.10.2005
Offline
445
#3
neolord:
спасибо, а гугль так же адекватно воспринимает?

У каждой ПС свой калинкор. Более того, Гугл зачастую кладет вообще на этот файл.

☠️☠️☠️
Алексей Барыкин
На сайте с 04.02.2008
Offline
272
#4

Так и маски не нужны

User-Agent: *
Disallow: /~

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий