Как отнесутся поисковые роботы к моей выходке!

И
На сайте с 17.01.2015
Offline
4
1097

Здравствуйте уважаемые форумчане. Имеется у меня сайт, движок самописный. В свет вышел буквально месяца 3-4 назад. Оптимизирую его по тихоньку, чтобы не попасть под фильтры. В скором времени планирую сделать множество изменений на сайте, и хотел бы закрыть его полностью от индексации на время работ. У меня есть вопросы, на которые хотелось бы получить ответы:

1) Весь сайт закрыть от индексации можно только с помощью файла robots.txt? Или есть ещё какие нибудь способы?

2) Пагубно ли это может отразиться на дальнейшем продвижении сайта, если закрыть весь сайт от индексации?

Спасибо!

L
На сайте с 07.12.2007
Offline
351
#1
Ильяя:
В скором времени планирую сделать множество изменений на сайте, и хотел бы закрыть его полностью от индексации на время работ

Все изменения отлаживаются на техническом домене(или локально на Денвере), и потом разом выкатываются на рабочий сайт.

Какой смысл был открывать на индексацию, и потом закрывать?

По robots.txt Google продолжает индексировать страницы, на которые есть внешние ссылки. В выдачу может попасть мусор.

И
На сайте с 17.01.2015
Offline
4
#2
Ladycharm:
Все изменения отлаживаются на техническом домене(или локально на Денвере), и потом разом выкатываются на рабочий сайт.

Какой смысл был открывать на индексацию, и потом закрывать?

По robots.txt Google продолжает индексировать страницы, на которые есть внешние ссылки. В выдачу может попасть мусор.

Сейчас я понимаю что нужно было сначала всё довести до ума, а после вылаживать проект в сеть. Но как говорится всё приходит с опытом. На ошибках учимся все мы без исключения.

Хорошо. А если помимо того, что в robots.txt прописать запрет на индексацию всего сайта, и внешним ссылкам поставить nofollow. В этом случае Google не будет индексировать, так же?

L
На сайте с 07.12.2007
Offline
351
#3
Ильяя:
Хорошо. А если помимо того, что в robots.txt прописать запрет на индексацию всего сайта, и внешним ссылкам поставить nofollow. В этом случае Google не будет индексировать, так же?

Внешние ссылки, это те, которые стоят на других сайтах и ссылаются на ваш сайт. Поставить им nofollow не получится - сайты-то чужие, и доступа к ним нет.

Можно сделать проще - пропишите в .htaccess:

Order Deny,Allow
Deny from all
Allow from xx.xx.xx.xx

где xx.xx.xx.xx - ваш IP-адрес

Тогда сервер будет пускать на сайт только с вашего IP, всем остальным давать "404 Forbidden".

PS: Это будет работать, если ваш хостер разрешает управление файлом .htaccess
И вы должны иметь статический IP-адрес xx.xx.xx.xx, хотя можно открывать и по маске:

Allow from 212.133.11

откроет откроет доступ с диапазона IP 212.133.11.*
И
На сайте с 17.01.2015
Offline
4
#4
Ladycharm:
Внешние ссылки, это те, которые стоят на других сайтах и ссылаются на ваш сайт. Поставить им nofollow не получится - сайты-то чужие, и доступа к ним нет.

Можно сделать проще - пропишите в .htaccess:

где xx.xx.xx.xx - ваш IP-адрес

Тогда сервер будет пускать на сайт только с вашего IP, всем остальным давать "404 Forbidden".

PS: Это будет работать, если ваш хостер разрешает управление файлом .htaccess
И вы должны иметь статический IP-адрес xx.xx.xx.xx, хотя можно открывать и по маске:

откроет откроет доступ с диапазона IP 212.133.11.*

Спасибо, нужно будет попробовать. Мне всё же интересно. Недавно читал, не помню где, что в гугл вебмастер есть такая функция, что можно на совём ресурсе давать понять поисковому роботу, какие ссылки учитывать а какие нет. Если это действительно работает, то получается что на своём сайте я могу запретить роботам переходить по внешним ссылкам на мой сайт, тем самым не индексируя его?

Redired
На сайте с 26.10.2014
Offline
7
#5
Ladycharm:
Внешние ссылки, это те, которые стоят на других сайтах и ссылаются на ваш сайт. Поставить им nofollow не получится - сайты-то чужие, и доступа к ним нет.

Можно сделать проще - пропишите в .htaccess:

где xx.xx.xx.xx - ваш IP-адрес

Тогда сервер будет пускать на сайт только с вашего IP, всем остальным давать "404 Forbidden".

PS: Это будет работать, если ваш хостер разрешает управление файлом .htaccess
И вы должны иметь статический IP-адрес xx.xx.xx.xx, хотя можно открывать и по маске:

откроет откроет доступ с диапазона IP 212.133.11.*

А после того как весь сайт будет выдавать 404, проблем в будущем не будет? Ведь такая ошибка плохо сказывается на сайте, или мот я не прав, самому интересно. А если продолжать работать а потом просто сделать удаление страниц с кешем из гугла?😕

- Romanus -
На сайте с 20.01.2015
Offline
91
#6

Ильяя, Гугловскому боту довольно сложно что-то запретить. Он слишком настойчивый.

Если сайт уже попал в индекс, то самым верным решением будет решение

Ladycharm, т.е. закрыть в htaccess.

Если сайт не попал в индекс гугла, то закрываете в роботсе + прописываете

<META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">. Часто хорошо срабатывает, если было прописано сразу (до попадания в индекс).

Делаю SEO. Веду блог - Romanus.ru ( https://romanus.ru )
CredoLol
На сайте с 03.02.2010
Offline
72
#7
Ильяя:
Здравствуйте уважаемые форумчане. Имеется у меня сайт, движок самописный. В свет вышел буквально месяца 3-4 назад. Оптимизирую его по тихоньку, чтобы не попасть под фильтры. В скором времени планирую сделать множество изменений на сайте, и хотел бы закрыть его полностью от индексации на время работ. У меня есть вопросы, на которые хотелось бы получить ответы:

1) Весь сайт закрыть от индексации можно только с помощью файла robots.txt? Или есть ещё какие нибудь способы?
2) Пагубно ли это может отразиться на дальнейшем продвижении сайта, если закрыть весь сайт от индексации?
Спасибо!

Читается как:

"Спарсил сайт автоматом, выложил на хостинге (на локалке потому что редактировать не получается, а сделать дома апач я не умею), сейчас занимаюсь не спеша вопросами уникализации контента. Как мне не попасть и чтобы все получилось?"

1. Роботс закрывает от индексации надежно (если нет внешних ссылок на документы).

2. От просто открытия в роботс до индекса уникальной морды без писем и ускорений (смотря в какой пс) от недели до месяца. В разделе дорвеев есть дельные советы и практики.

Если вас обманули, обратитесь в полицию, фсб, отдел К, этим вы спасете от мошенников ваших близких и друзей...
И
На сайте с 17.01.2015
Offline
4
#8
CredoLol:
Читается как:

"Спарсил сайт автоматом, выложил на хостинге (на локалке потому что редактировать не получается, а сделать дома апач я не умею), сейчас занимаюсь не спеша вопросами уникализации контента. Как мне не попасть и чтобы все получилось?"

1. Роботс закрывает от индексации надежно (если нет внешних ссылок на документы).
2. От просто открытия в роботс до индекса уникальной морды без писем и ускорений (смотря в какой пс) от недели до месяца. В разделе дорвеев есть дельные советы и практики.

Нет, это читается так, как я написал. Сайт писался с голого листа.

DV
На сайте с 01.05.2010
Offline
644
#9

Ну и забейте. Пусть висит то, что проиндексировалось. Когда доделаете, поменяете. Если изменятся URL, не забудьте редиректы.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
И
На сайте с 17.01.2015
Offline
4
#10

А с Яндексом получается всё проще? Если в роботс запрещаем индескацию, то даже не смотря на внешние ссылки с других ресурсов, бот не будет индексировать сайт?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий