Джон Мюллер: как заблокировать Google доступ к тестовому сайту

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как заблокировать поисковику доступ к тестовому серверу.

Обычно для блокировки индексации тестовых сайтов создаётся файл robots.txt, который запрещает поисковикам сканировать страницы ресурса.

Джон Мюллер предложил более эффективное решение. В частности, он рекомендует использовать аутентификацию на стороне сервера.

«В идеале нужно обеспечить server-side аутентификацию на сервере, чтобы пользователи, включая Googlebot, не могли видеть контент. Это можно сделать на основе IP-адреса, с помощью cookie или обычной аутентификации на сервере… Мне кажется, что это наилучший подход для тестовых серверов», - сказал Мюллер.

Он также напомнил, что если на страницу есть ссылки с других ресурсов, то Google может переходить по ним и сканировать содержимое, несмотря на запрет в файле robots.txt.

Прослушать ответ Мюллера можно, начиная с отметки 42:30 на видеозаписи ниже:

https://youtu.be/kPVNl7btFHQ?t=2560

Источник: Search Engine Journal
subscribe

Подпишитесь на рассылку SearchEngines

— Статьи мировых экспертов

— Аналитические обзоры

— Важные новости

— Горячие темы с нашего форума

preview Google уберёт превью для новостей во Франции, чтобы не платить СМИ

Google уберёт превью для новостей во Франции, чтобы не платить СМИ

Google объявил, что не будет платить издателям во Франции за фрагменты их материалов в результатах поиска, а вместо этого уберёт превью для новостных публикаций в выдаче
preview Яндекс.Диск стал по-новому хранить и представлять фото и видео

Яндекс.Диск стал по-новому хранить и представлять фото и видео

Яндекс обновил функциональность, связанную с хранением и представлением фото и видео на Диске
preview Суд ЕС занял сторону Google в споре против глобализации "права на забвение"

Суд ЕС занял сторону Google в споре против глобализации "права на забвение"

Суд Европейского союза поддержал Google в споре с французскими властями, требующими глобального применения «права на забвение». Для поисковика это стало большой победой
preview Google Ads добавил новые функции на страницу "Рекомендации"

Google Ads добавил новые функции на страницу "Рекомендации"

Google Ads обновил функционал рекомендаций, помогающих повысить показатель оптимизации и эффективность рекламных кампаний
preview Google Ads обновил шаблон  для объявлений только с номером телефона

Google Ads обновил шаблон для объявлений только с номером телефона

Google Ads изменил шаблон для объявлений только с номером телефона (call-only ads...
preview Google о переносе сайтов на другой сервер

Google о переносе сайтов на другой сервер

В новом выпуске серии видео #AskGoogleWebmasters сотрудник поиска Джон Мюллер ответил на вопрос о переносе сайта на другой сервер