Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Не закрывается зеркало сайта от индексации

A7
На сайте с 11.03.2012
Offline
32
anatol79
503

Доброго времени суток !

Сделал зеркало сайта на поддомене чтобы немного поэкспериментировать с дизайном (сайт на WebAsyst)

Буквально месяц назад это работало когда прописывал в robots.txt

User-agent: *

Disallow: /

ща гугл его проиндексировал почемуто, здесь пишут что оно должно работать /ru/forum/622461

Я устанавливал его на локалке он установился, но криво как то, вот джумла на локалке нормально устанавливается а вот WebAsyst вобщем верстать его на локалке невозможно...

Мож хто что-то подскажет по этому поводу, как лучше закрыть от индексации зеркало сайта....

donc
На сайте с 16.01.2007
Online
664
donc
#1
anatol79:
Мож хто что-то подскажет по этому поводу, как лучше закрыть от индексации зеркало сайта....

Файл .htaccess гугль бот (можно и все прочие) в баню.

Осуждаем применение нейросетей в SEO и не только ( https://webimho.ru/forum/148/ ) :) Продвижение сайтов от 25 000 в мес, прозрачно, надежно ( /ru/forum/818412 ), но не быстро, отзывы ( http://webimho.ru/topic/3225/ )
G-and-Y
На сайте с 29.06.2013
Offline
156
G-and-Y
#2

метатег ноиндекс нофолоу тож гошу останавливает.

Абузо-устойчивые впс в Нидерландах от 5$/мес (https://cp.inferno.name/aff.php?aff=2991)
A7
На сайте с 11.03.2012
Offline
32
anatol79
#3
donc:
Файл .htaccess гугль бот (можно и все прочие) в баню.

А что там прописывать надо в .htaccess?

---------- Добавлено 28.10.2013 в 23:55 ----------

G-and-Y:
метатег ноиндекс нофолоу тож гошу останавливает.

Этими мэтатэгами ток отдельные страницы сайта скрыть можна а если на сайте около 3000 страниц то задолбешся скрывать......

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#4
anatol79:
ща гугл его проиндексировал почемуто

гугл индексирует заголовки страниц закрытых в роботсе, но это не принесет вам проблем с основным сайтом.

Иван Чередов (http://ivan.cheredov.com/about/)
A7
На сайте с 11.03.2012
Offline
32
anatol79
#5
cheredov:
гугл индексирует заголовки страниц закрытых в роботсе, но это не принесет вам проблем с основным сайтом.

Да но раньше под заголовком он писал что этот сайт типа закрыт от индексации (я точную фразу не помню что то типа ограничено или в этом роде) а теперь он полностю проиндексировал зеркало так само как и основной сайт, вот что настораживает.....

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#6
anatol79:
А что там прописывать надо в .htaccess?

RewriteCond %{HTTP_USER_AGENT} ^Google.*

RewriteRule ^(.*)$ http://главноезеркало/ [L,R=301]

на заметку:

Блокирование сканирования Google

П
На сайте с 15.09.2013
Offline
16
Питер
#7
cheredov:
RewriteCond %{HTTP_USER_AGENT} ^Google.*
RewriteRule ^(.*)$ http://главноезеркало/ [L,R=301]
на заметку:
Блокирование сканирования Google

Возможно, лучше изначально было отдавать ошибку, но если сайт уже попал в индекс, то так тоже неплохо.

A7
На сайте с 11.03.2012
Offline
32
anatol79
#8
Питер:
Возможно, лучше изначально было отдавать ошибку, но если сайт уже попал в индекс, то так тоже неплохо.

Спасибо я попробую, но я не пойму эту фразу : "Возможно, лучше изначально было отдавать ошибку, но если сайт уже попал в индекс, то так тоже неплохо"

cheredov
На сайте с 07.04.2011
Offline
125
cheredov
#9
anatol79:
Спасибо я попробую, но я не пойму эту фразу : "Возможно, лучше изначально было отдавать ошибку, но если сайт уже попал в индекс, то так тоже неплохо"

Да не берите в голову.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий