Переход на HTTPS. Надо ли запрещать индексацию для Гугла на время склейки?

12
B
На сайте с 13.02.2008
Offline
262
1884

Планируется переход на HTTPS. Хочу перейти максимально мягко. Сначала сделаю склейку зеркал в Яндексе и только после этого буду делать редиректы.

Возник вопрос: Что делать с Гуглом, пока будет идти склейка? Ведь Гугл хочет редирект. Стоит ли на время склейки зеркал для Гугла в https://xxx.yyy/robots.txt запретить индексацию (Disallow: /)? Меня смутило, что некоторые пишут, что сейчас этого делать смысла нет, что Гугл и так начнет заменять в поиске версию http https как только увидит, что https доступна. Но мне стрёмно отдавать Гуглу сразу обе версии. Ведь без редиректа Гугл может вторую версию за дубль посчитать... а может и не посчитает (но даже если и поймет, что это один сайт, в любом случае эти вещи недокументированны, да и неизвестно , что с ссылочным весом будет), по документации нужен редирект.

Короче, если я для версии https в robots.txt пропишу для Гугла запрет индексации на время склейки, он не будет трогать версию https? Или не смотря на запрет включит версию https в индекс?

Нормально будет на время склейки зеркал в Яндексе запретить Гуглу индексацию https версии? А уж после склейки включить редирект. Нет здесь подводных камней?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#1
borisd:
Что делать с Гуглом, пока будет идти склейка? Ведь Гугл хочет редирект.

Не обязательно, достаточно добавить https версию сайта в вебмастерскую консоль как новый сайт. После склейки в яндексе поставите редирект, получится все плавно.

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
B
На сайте с 13.02.2008
Offline
262
#2
Оптимизайка:
Не обязательно, достаточно добавить https версию сайта в вебмастерскую консоль как новый сайт.

Тогда, как я понимаю, Гугл сразу начнет сканировать и включать в индекс версию https и в итоге в индексе будет две версии с одинаковым содержимым. Или Гугл поймет, что это один и тот же сайт и исключит из индекса старую версию и без редиректа? В любом случае если это и так, это ведь не документировано, более того Гугл подчеркивает что http и https он воспринимает как разные сайты. Плюс к тому, как я понял, в СёчКонсоли он не даст воспользоваться функцией "переезд сайта" до установки редиректов. В общем не хотелось бы рисковать, сайт серьезный и высокопосещаемый.

Но если всё же поставить для Гугла временный запрет на индексацию https-версии в файле robots.txt, то тогда вроде получится всё сделать в точном соответствии с рекомендациями и Яндекса, и Гугла, пусть и несколько дольше. Или есть подводные камни с запретом индексации?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#3
borisd:
Тогда, как я понимаю, Гугл сразу начнет сканировать и включать в индекс версию https и в итоге в индексе будет две версии с одинаковым содержимым.

Будет, но просканированные https версии будут замещать соотв. http версии.

В любом случае если это и так, это ведь не документировано, более того Гугл подчеркивает что http и https он воспринимает как разные сайты.

В официальных иструкциях переезд на https делается именно так, просто добавлением https сайта в консоль:

https://support.google.com/webmasters/answer/6033049#https-faqs

Я переезжал так:

1. Поменял robots.txt, sitemap.xml. Сайт доступен по обоим протоколам.

2. Добавил в яндекс вебмастер (через индексирование->переезд сайта, галочка [x] HTTPS) и гугл консоль (просто как новый сайт).

3. Дождался склейки в яндексе. Пока шла склейка, гугл уже просканировал большую часть https версии.

4. Сделал редирект http->https кроме robots.txt, гугл добавил остальные страницы, яндекс исключил http версии.

Трафик на сайт не изменился во время переезда, потом понемногу вырос за счет яндекса правда.

Переводил три небольших сайта, во всех случаях все произошло гладко. Ваш опыт может конечно отличаться :D

в СёчКонсоли он не даст воспользоваться функцией "переезд сайта" до установки редиректов.

После редиректов тоже не даст. Т.к. "переезд сайта" (Change of Address) работает только для разных доменов.

png 167256.png
B
На сайте с 13.02.2008
Offline
262
#4

Оптимизайка, да, я аналогично хочу переезжать. Я вот только не уверен, перетечёт ли в Гугле вес страниц с http на https без редиректов... Посещаемость у меня раз в сто больше

вашей (на графике) и бэков - сотни тысяч. Поэтому меня эти нюансы волнуют. Всё же склоняюсь к временному запрету индексации https-версии для Гугла.

Оптимизайка:
2. Добавил в яндекс вебмастер (через индексирование->переезд сайта, галочка [x] HTTPS) и гугл консоль (просто как новый сайт).

Кстати, перед простановкой этой галочки надо в вебмастер яндекса добавлять и подтверждать https-версию сайта?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#5
borisd:
Кстати, перед простановкой этой галочки надо в вебмастер яндекса добавлять и подтверждать https-версию сайта?

"Перед" - нет, он сам добавится потом. Подтверждение должно быть, ну т.е. файл или DNS должен быть действующим и лежать где надо. Там напишут если что не так.

B
На сайте с 13.02.2008
Offline
262
#6

Оптимизайка, ну а всё таки что касается запреда индексации... Если я в robots.txt https-версии для гугла пропишу disallow: /, он не будет включать её в индекс? По идее это будет запрет боту на обход https-версии сайта, а не обойдя страницы ботом, он не должен их в индекс включать. Но я боюсь нет ли какого-либо исключения из этого правила для одного домена просто с разными протоколами. Может он проигнорировать в данном случае запрет в robots.txt?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#7
borisd:
Если я в robots.txt https-версии для гугла пропишу

Такого опыта нет, гадать не буду.

B
На сайте с 13.02.2008
Offline
262
#8

Оптимизайка, а позиции в гугле у вас до редиректов и после них как-либо изменялись? Не отслеживали позиции в топе по каким-нибудь запросам? Ну, и в яндексе, что у вас с позициями было и чем закончилось?

Оптимизайка
На сайте с 11.03.2012
Offline
396
#9
borisd:
Оптимизайка, а позиции в гугле у вас до редиректов и после них как-либо изменялись?

Незначительно. В процессе склейки колебались. Но сайты небольшие, в основном за пределами top-10. Свой основной сайт с большой посещалкой, в топах, я пока боюсь переводить, может на новый год буду.

png 167257.png
png 167258.png
Samail
На сайте с 10.05.2007
Offline
361
#10
borisd:
Ведь без редиректа Гугл может вторую версию за дубль посчитать... а может и не посчитает

Дайте ему rel="canonical" что-бы не посчитал

https://support.google.com/webmasters/answer/139066?hl=ru#https

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий