Закрыть сайт от поисковика

arantir92, а если как вариант забанить ботов пс ?

каким способом это можно сделать?

arantir92, посмотреть логи запросов , там увидете ип адресса ботов

arantir92, понимаете, гугл видит, но в основную поисковую выдачу не выдает, т.е. по сути от гугла именно закрыть нельзя, можно лишь лишить его возможности выкидывать это в поиск (ну это мое личное), а с яндексом такого не замечено.

а вообще вариантов много, сначала ПС просмотрела сайт, потом роботс, неверный роботс и еще 100500 причин, давайте позовем гадалку ? )

вы вообще зачем закрываете то ?

Забанить ботов не очень надежный способ, иногда боты заходят от имени браузера с левых ip

а зачем закрыть то хотите?

Подскажете, каким образом?

TaediumVitae, перечитайте пост ТС там все ж расписано )

гугл ходит по ВСЕМУ сайту и по всем ссылкам на нем, он поглащает вообще всё! а в поиск выкладывает лишь то, что считает нужным и что не закрыто в роботс. Таким образом закрывая что либо в роботсе, гуглобот все равно это увидит, но в поиск не выдаст.

В компании все новые проекты сайтов ставятся на поддомен, закрывается поддомен в роботсе и все. никаких проблем никогда небыло.

не выкладывать в интернет :)

Как вариант - доступ после авторизации. Роботсы, блокирование ИП и тп - ненадёжно.

третьим буду.

arantir92,если прям невтерпеж сначала делайте все локально потом выкладывайте в сеть )