Все вопросы по robots.txt

Приветствую! Создал проект на html без cms , нужно файл robots составить. Кто сможет помочь грамотно прописать все?

Закрывать от индексации что собираетесь?

Ну это мне и должны подсказать))) Там форма регистрации будет. Ее может быть не обязательно. сайт в разработке. Много ненужного там есть. я бы сейчас все вообще закрыл от индексировании))

Разделегируйте пока домен и не страдайте фигней. Если сильно хочется показывать «Under construction», можете ограничиться страницей с одной картинкой на главной, закрыв все прочие адреса (404-ой). Также можно 503-юю выдавать на главной или даже по всем адресам.

User-agent: *

Disallow: /

Ну вот и закройте всё, пока не разберётесь, редиректы на правильное зеркало не настроите...

...Можно и в роботс закрыть, но я бы не советовал так делать:

User-Agent: *

Disallow: /

Host: example.com

---------- Добавлено 06.03.2017 в 21:51 ----------

...мда. Долго писал.

kirilf78, а вообще самый простой способ – закрывать служебные разделы и т.п., например:

User-Agent: *

Disallow: /assets/ – закрываем ветку с обвесом

Disallow: /files/ – закрываем проч. статик

Disallow: /images/ – аналогично

Disallow: /payment/ – закрываем служебный раздел (адрес /payment остается открым)

Host: example.com

А почему лучше не закрывать от индексации? У меня домен новый, делегирован дня 3 назад. 2 дня там хостера лого висело, сейчас мой шаблон, но там есть визуальные статьи, которые дизайнер в качестве примера сделал на румынском или испансоком. Сильно страшно, что на домене с неделю будет висеть непонятное?

User-Agent: *

Disallow: /

Host: example.com

User-Agent: *

Disallow: /assets/ – закрываем ветку с обвесом

Disallow: /files/ – закрываем проч. статик

Disallow: /images/ – аналогично

Disallow: /payment/ – закрываем служебный раздел (адрес /payment остается открым)

Host: example.com

Зачем вам это нужно? Заглушку можно поставить за пять сек. За столько же потом ее снять. Как вариант:

.htaccess

RewriteEngine On

RewriteCond %{REQUEST_URI} !^/(favicon\.ico|503\.php)$
RewriteRule ^.* /503.php

503.php

<?php header('HTTP/1.1 503 Service Temporarily Unavailable');?>Дальше код страницы

За заглушку спасибо большое! Я могу в лс к вам обратиться? Что бы вы подсказали что нужно мне потом будет в роботс скрыть, а что нет и воообще что прописанно должно быть

RewriteEngine On



RewriteCond %{REQUEST_URI} !^/(favicon\.ico|503\.php)$

RewriteRule ^.* /503.php

<?php header('HTTP/1.1 503 Service Temporarily Unavailable');?>Дальше код страницы