Как разрешить доступ WebArchive в robots.txt

185

SpikePro

15 марта 2011, 13:08

1396

Существует сайт, к которому надо запретить доступ всех поисковиков, разрешив только WebArchive. Как будет выглядеть этот robots.txt ?

С 1 частью все понятно:

User-agent: *
Disallow: /

Как быть со второй? (разрешающей доступ WebArchive)

Заранее спасибо за ответы.

Распродажа старых доменов от 1$! кликай -> (/ru/forum/855733) [обновлено сегодня! 26.09.2014]

278

кот Бегемот

15 марта 2011, 13:40

#1

Это скорее через .htaccess получится сделать. http://1ya.ru/?action=useful&id=21#q4

Разрешить доступ с определенного ip:
order allow deny
deny from all
allow from <ваш ip>

Яндекс Директ, Гугд адворс, не дорого и ответственно. Телеграмм @H_Ilin

185

SpikePro

15 марта 2011, 14:10

#2

garik77:
Это скорее через .htaccess получится сделать. http://1ya.ru/?action=useful&id=21#q4

Вроде у Webarchive есть свой User-agent, но не знаю какой. Просто с htaccess сложно как-то.

278

кот Бегемот

15 марта 2011, 14:28

#3

http://www.user-agents.org/index.shtml?t_z вот здесь список этих юзер-агентов, но вот что-то нужного не вижу..

121

LePReZeNT

15 марта 2011, 14:34

#4

User-agent: ia_archiver-web.archive.org

Disallow:

User-agent: *

Disallow: /

Распродажа старых доменов в ЯК (/ru/forum/913767)

278

кот Бегемот

15 марта 2011, 14:40

#5

http://www.user-agents.org/cgi-bin/csv2html.pl?data=allagents.csv&template=detail.html&match=\bid_g_m_459\b Нашелся..

185

SpikePro

15 марта 2011, 15:38

#6

LePReZeNT, garik77, Спасибо!

Успеха, Вам, Ребята!

K

737

Kost

15 марта 2011, 15:42

#7

SpikePro:
у Webarchive есть свой User-agent, но не знаю какой.

http://www.archive.org/about/exclude.php

User-agent: ia_archiver

Disallow:

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Маркетинг для шоколадной фабрики. На 34% выше средний чек