Почему Гугл индексирует страницы закрытые в robots?

48

Sead

8 июня 2013, 17:45

2484

Комментарии закрыты в robots.txt, но Гугл в соплях проиндексировал (в комментариях есть слово "ответить" на комментарий):

Ответить - Как создать свой блог

delajblog.ru/kakoj-xosting-vybrat?replytocom=1461‎

A description for this result is not available because of this site's robots.txt – learn more.

Ответить - Как создать свой блог

delajblog.ru/kak-ubrat-zashifrovannuyu-ssylku-iz-wor...‎

A description for this result is not available because of this site's robots.txt – learn more.

Ответить - Как создать свой блог

delajblog.ru/vorovstvo-kontenta?replytocom=15‎

A description for this result is not available because of this site's robots.txt – learn more.

delajblog.ru/page/2/

A description for this result is not available because of this site's robots.txt – learn more.

Вопрос: как запретить гугл индексировать такие страницы?

Попытки создать свой сайт (http://delajblog.ru/)

[Удален]

8 июня 2013, 18:05

#1

Потому что нужно его закрыть от индексации

S

48

Sead

8 июня 2013, 18:11

#2

ivanpetrov:
Потому что нужно его закрыть от индексации

Как? Эта страница уже закрыта в robots. Если nofollow, то где?

195

plattoo

8 июня 2013, 18:13

#3

ivanpetrov:
Потому что нужно его закрыть от индексации

Молодец, Иван Петров.

А ТС ответ такой: читайте http://robotstxt.org.ru/

S

48

Sead

9 июня 2013, 05:01

#4

plattoo:
Молодец, Иван Петров.

А ТС ответ такой: читайте http://robotstxt.org.ru/

Спасибо Вам, добрый человек.

A8

62

Asd88

9 июня 2013, 05:39

#5

У меня та же проблема... в роботсе директории запрещены, а в соплях они есть хоть там и пишется рядом, что описание этой страницы запрещено роботсом... как быть?

Здесь я заказываю статьи по 10р за килознак (http://www.etxt.ru/?r=asd_88)

S

48

Sead

9 июня 2013, 06:18

#6

Asd88:
У меня та же проблема... в роботсе директории запрещены, а в соплях они есть хоть там и пишется рядом, что описание этой страницы запрещено роботсом... как быть?

Сейчас ищу решение. Наклевывается сразу несколько.

1. Засадить в robots

Disallow: /*/?replytocom=*

Только здесь внимательно разобраться со слешами.

Кстати, давным давно у меня стоят директивы:

Disallow: /*?*

Disallow: /*?

Но на replytocom они почему то не действуют.

2. Гугл вебмастер - Конфигурация - Параметры URL - настройка параметров URL и там уже разобраться с этим replytocom (кстати, там и можно увидеть сколько таких ссылок гуля наиндексировал).

3. В single.php находим вызов комментариев <?php

comments_template();

?>

И закрываем nofollow

Какой вариант выбрать пока не решил.

ЗЫ Всё это относится только к древовидным комментариям Wordpress и именно к словечку "Ответить".

Траффик с Google в Что не так с Яндекс.Вебмастер, robots.txt, Wordpress и

S3

109

sok3535

9 июня 2013, 07:20

#7

Sead:
Сейчас ищу решение. Наклевывается сразу несколько.
1. Засадить в robots
Disallow: /*/?replytocom=*
Только здесь внимательно разобраться со слешами.
Кстати, давным давно у меня стоят директивы:
Disallow: /*?*
Disallow: /*?
Но на replytocom они почему то не действуют.
2. Гугл вебмастер - Конфигурация - Параметры URL - настройка параметров URL и там уже разобраться с этим replytocom (кстати, там и можно увидеть сколько таких ссылок гуля наиндексировал).
3. В single.php находим вызов комментариев <?php
comments_template();
?>
И закрываем nofollow
Какой вариант выбрать пока не решил.
ЗЫ Всё это относится только к древовидным комментариям Wordpress и именно к словечку "Ответить".

роботс для гугла запрещает сканирование, а не индексирование - индексирование запрещает метатег noindex.

достаточно просто читать справку -

Чтобы полностью исключить вероятность появления контента страницы в индексе Google, даже если на нее ссылаются другие сайты, используйте метатег noindex или x-robots-tag. По мере сканирования страниц, робот Googlebot обнаружит метатег noindex и не станет отображать страницу в индексе. HTTP-заголовок x-robots-tag рекомендуется использовать, чтобы исключить из индекса файлы, формат которых отличается от HTML (например, изображения или другие типы документов).

источник - http://support.google.com/webmasters/bin/answer.py?hl=ru&answer=156449

в вордпресе в файле wp-includes/default-filters.php есть строчка

if ( isset( $_GET['replytocom'] ) )

    add_action( 'wp_head', 'wp_no_robots' );

т.е. на стр с ?replytocom уже по умолчанию отдается

<meta name="robots" content="noindex,nofollow">

- вывод - чтобы выкинуть эти стр из индекса достаточно просто позволить боту их просканировать т.е. убрать из роботса строчку/и ,блокирующие доступ бота к этим урл. можно также установить плагин all in one seo и вкл там каноникал

как убрать страницы из Гугл не обращает внимание Спрашиваем и отвечаем по

1214

Mik Foxi

9 июня 2013, 07:27

#8

Отдавать на таких страницах не ответ 200, а доступ запрещен. Человеку это не помешает. А боту точно не даст индексировать. Я так с поиском по сайту сделал )

Антибот, антиспам, веб фаервол, защита от накрутки поведенческих: https://antibot.cloud/ (Зеркало: https://антибот.рф/ ) Форум на замену серчу: https://foxi.biz/

S

48

Sead

9 июня 2013, 07:38

#9

sok3535:
///. можно также установить плагин all in one seo и вкл там каноникал

Спасибо за информацию. Не пойму, только, давным давно стоит platinum seo pack и все страницы имеют свой

Отчего тогда происходит индексация?

S3

109

sok3535

9 июня 2013, 07:44

#10

Sead:
Спасибо за информацию. Не пойму, только, давным давно стоит platinum seo pack и все страницы имеют свой
<link rel="canonical" href="http://delajblog.ru/" />
Отчего тогда происходит индексация?

ссылки внутр и внеш

В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи

Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта