И снова robots.txt - запрещено все, что не разрешено...

LX
На сайте с 28.10.2013
Offline
2
L-X
352

Устав бороться с поисковиком, который регулярно находит и показывает в выдаче уже полгода как удаленные страницы на сайте, решил запретить вообще все, кроме того, что будет явным образом разрешено.

То есть сделать нечто типа:

User-agent: *

Disallow: /

Allow: /about.php

Allow: /contact.php

Host: example.com

Вроде все просто. Вот только как быть с главной страницей? Как разрешить ее индексацию?

ЛЗ
На сайте с 29.11.2013
Offline
0
#1

для каких поисковиков?

LX
На сайте с 28.10.2013
Offline
2
L-X
#2

User-agent: *

Disallow: /

Allow: /$

Allow: /about.php

Allow: /contact.php

Host: example.com

Правильно?

Нужно для Яндекса, но думаю попутно сделать и для остальных.

Мне кажется это удобным. Политика безопасности *nix-like систем мне как-то ближе. :)

LX
На сайте с 28.10.2013
Offline
2
L-X
#3

Проверил через http://webmaster.yandex.ru/addurl.xml - вроде все правильно.

Насколько приемлем этот вариант? Какие могут быть подводные камни?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий