Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Как запретить индексацию сайта - полностью

Valentin N.
На сайте с 07.07.2006
Offline
64
Valentin N.
1073

Рыл рыл инфу на форуме, но что-то не смог найти...

Не подскажете, как надо составить robots.txt чтобы полностью запретить сайт к индексации всеми поисковыми системами?

seopro
На сайте с 22.06.2006
Offline
67
seopro
#1

User-agent: *

Disallow: /

• Возьму сайты на продвижение от 1500 рублей. БЕЗ ПРЕДОПЛАТЫ.
Valentin N.
На сайте с 07.07.2006
Offline
64
Valentin N.
#2
seopro:
User-agent: *
Disallow: /

Ага! Спасибо!

[Удален]
#3

Несколько полезных ссылочек:

http://www.rambler.ru/doc/robots.shtml

http://webmaster.yandex.ru/faq.xml - лучше прочитать всё :)

http://www.robotstxt.org/wc/norobots.html

dobrosyn
На сайте с 04.02.2007
Offline
160
dobrosyn
#4

Для каждого порта должен быть создан собственный файл robots.txt. В частности, если используются протоколы http и https, для каждого из них потребуются отдельные файлы robots.txt. Например, чтобы разрешить поисковому роботу Google индексировать все страницы http и запретить сканировать https, файлы robots.txt должны выглядеть так, как описано ниже.

Для протокола http (http://server.ru/robots.txt):

User-agent: * Allow: /

Для протокола https (https://server.ru/robots.txt):

User-agent: * Disallow: /

Так точнее)

Продвижение сайтов в сложных тематиках (https://luxsite.ua/seo/)
А почему вы не В Google Search Console Составление файла robots.txt

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий