Как скрыть сайты от поиска на сервере.

K
На сайте с 24.02.2013
Offline
52
1814

Добрый вечер. На виртуальном сервере находятся 3 сайта. Один сайт нужно показать людям на стороннем форуме. В инете есть сервисы где можно в строку поиска вписать домен или ip, после чего предоставится информация - адреса сайтов расположенные на этом сервере. Именно это мне и нужно скрыть. Из поиска гугла и яндекса нашлось 2 сервиса которые полностью показали все сайты расположенные на сервере после того как я ввожу адрес домена. Скажите можно ли как то закрыть от таких сервисов сайты? Что бы поиск подобных сервисов не выдавал мои другие сайты расположенные на сервере. IP на сервере сейчас один, поэтому перевести сайт на другой не могу. Может есть еще какие способы помимо смены ip? Благодарю.

S2
На сайте с 30.12.2015
Offline
307
#1

В корне сайта в файл robots.txt

User-agent: *
Disallow: /

только при этом сайт выпадет из поиска. Но это единственный вариант, т.к. данные расположения сайта берется из поисковиков. Если все устраивает, дерзайте.

sanika
На сайте с 08.12.2015
Offline
58
#2

Никак. Можно скрыть хуизы, но скрыть айпишник сайта просто невозможно :) это ведь его адрес в инете. Не может быть сайт "бомжом" и при этом открываться

---------- Добавлено 07.01.2016 в 22:27 ----------

smart2web:
данные расположения сайта берется из поисковиков

Да? а я наивный всегда думал что даже если сайт приватный, закрытый от всех ПС то сервисы его не найдут? А как же ДНС записи? :)

LinkBoss.net - Трастовые ссылки для увеличения трафика в 10 раз! (http://linkboss.net/)
L
На сайте с 07.12.2007
Offline
351
#3
sanika:
Никак. Можно скрыть хуизы, но скрыть айпишник сайта просто невозможно :) это ведь его адрес в инете. Не может быть сайт "бомжом" и при этом открываться

Может. Гуглите про реверс-прокси или сразу про CloudFlare.

S2
На сайте с 30.12.2015
Offline
307
#4
sanika:
Никак. Можно скрыть хуизы, но скрыть айпишник сайта просто невозможно :) это ведь его адрес в инете. Не может быть сайт "бомжом" и при этом открываться

---------- Добавлено 07.01.2016 в 22:27 ----------


Да? а я наивный всегда думал что даже если сайт приватный, закрытый от всех ПС то сервисы его не найдут? А как же ДНС записи? :)

Черз ДНС возможно, через хуиз возможно. Но вы представляете весь парк серверов который пашет над одним запросом о наличии других сайтов на сервере перелопачивая весь тырнет? Не думаю, что именно таким образом работает сервис. Все делается одним запросом к поисковику.

L
На сайте с 07.12.2007
Offline
351
#5
smart2web:
Но вы представляете весь парк серверов который пашет над одним запросом о наличии других сайтов на сервере перелопачивая весь тырнет?

У ПС, которая имеет свой публичный DNS-сервер (типа 8.8.8.8) - вся привязка всех доменов к IP уже есть сразу на блюдечке.

Для остальных - делается не прямой поиск сайтов на IP, а сначала выгружаются все домены с привязкой к IP. Доменов второго уровня не так уж и много, а DNS-запросы выполняются очень быстро и с копеечным трафиком.

А для поддоменов можно использовать AXFR-запросы.

smart2web:
Не думаю, что именно таким образом работает сервис. Все делается одним запросом к поисковику.

Одним запросом к ПС - тоже можно, только эта ПС часто лажает.

K
На сайте с 24.02.2013
Offline
52
#6

В общем так и не понял что нужно делать )) Но вроде вопрос разрешился сам, один из сайтов который я добавил перед новым годом на сервер не показывается в результатах поиска на поисковых сервисах,хотя сидит на том же самом ip что и 2 других сайта - их почему то показывает. Но главное что недавно добавленный сайт не показывают. )

L
На сайте с 07.12.2007
Offline
351
#7
kalistrat:
Но главное что недавно добавленный сайт не показывают. )

Через полгода начнут показывать и его. Вы просто смотрите кривыми сервисами, которые пересканируют Интернет раз в 5 лет.

PS: Даже у Яндекса новые сайты появляются в выдаче через месяц-два.

K
На сайте с 24.02.2013
Offline
52
#8
Ladycharm:
Через полгода начнут показывать и его. Вы просто смотрите кривыми сервисами, которые пересканируют Интернет раз в 5 лет.

PS: Даже у Яндекса новые сайты появляются в выдаче через месяц-два.

Да,вы правы, сейчас нашел один забугорный сервис,его на форуме одном рекомендуют людям которые интересуются вычислениями сайтов на сервере, он как раз показывает все 3 сайта. Но решил выйти из ситуации таким образом, в инете полно хостингов которые дают тестовые доступы, в данное время перенес сайт на хостинг который дает тестовый доступ на месяц.

sanika
На сайте с 08.12.2015
Offline
58
#9
Ladycharm:
реверс-прокси

геморно это

Ladycharm:
CloudFlare

вот тут я действительно лажанул :)

kalistrat:
в инете полно хостингов которые дают тестовые доступы

Вы хотите так скакать с хостинга на хостинг?

K
На сайте с 24.02.2013
Offline
52
#10
sanika:
Вы хотите так скакать с хостинга на хостинг?

Нет, пройдет месяц,обратно переведу, за это время уже кому надо все просмотрят. )

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий