Форум Поисковые системы Google

robots.txt Фейсбука

seoandyt
На сайте с 29.10.2010
Offline
85
seoandyt
498

Случайно заглянул на данную страницу https://www.facebook.com/robots.txt в соц.сети и не понял один момент:

Зачем подробно запрещать разных паукам разные папки чтобы в конце все запретить:

User-agent: *

Disallow: /

Или я не правильно понимаю указанный синтаксис?

Labor omnia vincit
Crazy & Co.
На сайте с 25.01.2007
Offline
221
Crazy & Co.
#1
seoandyt:

Или я не правильно понимаю указанный синтаксис?

Да, не правильно понимаете, запрещен доступ всем поисковикам, кроме указанных выше.

emariaru
На сайте с 26.10.2010
Offline
73
emariaru
#2

Вот этого робота они хорошо потролили ))

User-agent: ia_archiver
Allow: /about/privacy
Allow: /full_data_use_policy
Allow: /legal/terms
Allow: /policy.php
Disallow: /
B
На сайте с 08.02.2012
Offline
217
blackcarrot
#3

https://archive.org/about/exclude.php

emariaru, видимо чтобы в архив не попадало ничего.

https://pilothub.ru
seoandyt
На сайте с 29.10.2010
Offline
85
seoandyt
#4
Crazy & Co.:
Да, не правильно понимаете, запрещен доступ всем поисковикам, кроме указанных выше.

Спасибо за отзыв. Не могли бы Вы подкинуть ссылку, где можно об этом почитать. Сам погуглил, но специфической ситуации, как в данном случае, не нашел...

Алексей Барыкин
На сайте с 04.02.2008
Offline
272
Алексей Барыкин
#5
seoandyt:
Спасибо за отзыв. Не могли бы Вы подкинуть ссылку, где можно об этом почитать. Сам погуглил, но специфической ситуации, как в данном случае, не нашел...

http://robotstxt.org.ru/

https://adminbook.ru/

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий