Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Закрытие содержимого сайта от роботов

AR
На сайте с 01.04.2012
Offline
78
And-rey
479

Доброго времени! Я по вопросу "длительности действия" запрета доступа ко всему сайту в файле robots.txt...

Сделал заказчику предварительно сайт, но его содержимое контента не уникально: составляет 0.00% так как предоставил ему (заказчику) как дэмо-версию ,используя тексты и структуру сайта как у конкурентов. Рискнул закрыть от индексации командой в роботс.тхт: 

User-agent: *

Disallow: /

User-agent: Yandex

Disallow: /

Проверил в поисковиках - пишет только гугл"Описание веб-страницы недоступно из-за ограничений в файле robots.txt." а Яндекс пока вообще не видит..... или увидел всё-таки и с концами загубил домен?:(

Почему такие прятки с поисковиками? Да вот заказчик никак предоплату не решается внести, чтобы уникальный контент я разместил далее (копирайт и рерайт текстов сделать)... Решил вышеуказанной конструкцией временно закрыться ,пока клиенты думают... чего - сам не пойму=))

А как долго можно сайт держать запретом в роботс.тхт?

Что ждёт домен, который по-долгу спрятан от ботов?

Есть ли гарантии, что поисковики не проиндексировали содержимое?

Cuck
На сайте с 02.06.2011
Offline
110
Cuck
#1
And-rey:
А как долго можно сайт держать запретом в роботс.тхт?

Вы можете его вообще не открывать:) а если серьезно, сколько нужно, столько и держите.

And-rey:
Что ждёт домен, который по-долгу спрятан от ботов?

Он просто не индексируется и все.

And-rey:
Есть ли гарантии, что поисковики не проиндексировали содержимое?

Ну это вопрос вопросов😂 если закрыто в роботе, он НЕ проиндексируется.

AR
На сайте с 01.04.2012
Offline
78
And-rey
#2

Благодарю за ответ! Вроде успокоили... Но есть "но".

Я вот пока читал всякое и наткнулся на это:

http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

... всё же есть шансы "спалиться" - "....Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс...."

Закрыть iframe от индексации Почему Гугл индексирует страницы Блокирую индексацию в роботс
E
На сайте с 21.09.2009
Offline
283
easywind
#3

And-rey, для гугла в тексте страниц поставьте тег noindex nofollow

ValdisRu
На сайте с 02.10.2006
Offline
139
ValdisRu
#4

я всегда запрещаю в роботсе пока идет разработка и доработка сайта, бывало и пару месяцев (и пол года даже было), потом когда сайт готов открываю, пока никаких проблем с этим замечено не было, все индексировалось после открытия нормально

Обалденный заработок на социальных сетях (https://goo.gl/Qtsq6M)
NET - 5.99 $, Форум категорически не хочет Как отнесутся поисковые роботы
Cuck
На сайте с 02.06.2011
Offline
110
Cuck
#5
And-rey:
....Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс...."

Не стоит по этому поводу переживать.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий