Как в гугл попали страницы закрытые в роботс?

VD
На сайте с 26.01.2014
Offline
0
461

Всем доброго времени суток. Такая тема. Есть молодой сайт (ДЛЕ), в котором с самого начала в robots.txt закрыты страницы типа page/2 и тд. Но в поиске они все равно есть. Кто может подсказать в чем проблема? В роботс прописано так:

Disallow: /page/

Disallow: */page/*

GC
На сайте с 09.04.2007
Offline
159
GKC
#1

1) зачем вторая строка?

2) ИМХО, оба неверны, я сделал так:

User-agent: *

Crawl-delay: 10

# Directories

Disallow: /includes/

Disallow: /misc/

И все равно гугл может найти, а может пометку "запрещено к индексации высветить" - произвол у них там )

Автоматическое удаление информации (http://www.gkclab.com/russ/terminator/terminator.html) ... Мистический туризм (http://mystictourism.com/) в гости к призракам...
VD
На сайте с 26.01.2014
Offline
0
#2
GKC:
1) зачем вторая строка?
2) ИМХО, оба неверны, я сделал так:

User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/

И все равно гугл может найти, а может пометку "запрещено к индексации высветить" - произвол у них там )

Спасибо, попробую=) Можно еще вопрос?=)

DL
На сайте с 12.01.2010
Offline
85
#3

robots.txt - это фйл с рекомендациями, а не с обязательными правилами индексации.

вот мета тег Noindex обязателен

Я.Директ, G.Adwords - аудит, настройка, ведение. РК в MyTarget, Facebook. Настройка сквозной веб-аналитки, Power BI. Связь - в ЛС, FB - https://www.facebook.com/pavel2322 (https://www.facebook.com/pavel2322)
VD
На сайте с 26.01.2014
Offline
0
#4
DjekLondon:
robots.txt - это фйл с рекомендациями, а не с обязательными правилами индексации.
вот мета тег Noindex обязателен

Всем спасибо. Короче курить мне еще и курить ету тему=)

siv1987
На сайте с 02.04.2009
Offline
427
#5
GKC:
2) ИМХО, оба неверны, я сделал так:

И чем же они неверны? И чем же ваши "верные" для ТС-а? Тоже самое что сказать, у вас тоже не верно, я сделал вот так

User-agent: *

Disallow: /

Оба запрета верные, но с некоторыми отличиями - первый запрещает /page/ только от корня сайта, второй запрещает все страницы с вхождение /page/ это в частности относится к страницам категорий site.ru/category/page/2/

Но как уже говорили выше, гугл может их добавить в индекс с пометкой "запрещен к индексации". Либо же запрет в роботс был добавлен после того как бот проиндексировал страницы, либо же эти запреты не срабатывают для бота (не под тем юзер-агентом прописаны, и тд)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий