misanthropist

Рейтинг
0
Регистрация
16.10.2015

Здравствуйте. Подскажите, пож-та, корректный ли текст robots.txt. Цель — закрыть сайт от индексации любыми поисковиками, удалить из archive.org (в т.ч. сохраненную историю). Последний метода работает, проверял. Спасибо.

# Generated by http://pr-cy.ru/

User-agent: *

Disallow: /

User-agent: ia_archiver

Disallow: /