Форум Поисковые системы Google

robots.txt

S
На сайте с 30.08.2014
Offline
4
seomark
633

Подскажите, как правильно настроить файл robots.txt для гугла?

Есть, что надо правильно прописать.

project33
На сайте с 30.04.2011
Offline
94
project33
#1

у гугла все написано https://support.google.com/webmasters/answer/6062608?hl=ru

se_ost
На сайте с 08.08.2011
Offline
53
se_ost
#2

Как для Яндекса. Только Google не понимает директиву Host:

когда релиз (https://when-release.ru)
M
На сайте с 15.06.2010
Offline
158
Milash
#3

Чо за бред директива Allow ? Роботс.тхт нужен что бы запрещать а не разрешать

Посетите мой сайт: https://www.sweet-shop.kiev.ua/
DK
На сайте с 28.03.2010
Offline
54
damir_kri
#4
Milash:
Чо за бред директива Allow ? Роботс.тхт нужен что бы запрещать а не разрешать

для исключений

A
На сайте с 19.04.2012
Offline
33
artbataev
#5
Milash:
Чо за бред директива Allow ? Роботс.тхт нужен что бы запрещать а не разрешать

У Яндекса очень хорошо описано: 

User-agent: Yandex

Allow: /

Disallow: /catalog

Allow: /catalog/auto

# запрещает скачивать страницы, начинающиеся с '/catalog',

# но разрешает скачивать страницы, начинающиеся с '/catalog/auto'.
seo_optimist
На сайте с 09.09.2009
Offline
108
seo_optimist
#6

Как по мне то robots.txt уже морально устарел, использую его с disallow: / (все) только при разработке нового сайта. Потом, когда сайт готов и настроен, этот файл может быть пустым

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий