Индексация ссылок на странице, закрытой в robots.txt

Zarutskiy
На сайте с 09.07.2010
Offline
11
813

Имеются ссылки на странице, которая запрещена к индексации в robots.txt. Об них нужно сообщить поисковикам, дабы всё попало в индекс. Поможет ли в этом случае добавление атрибута rel="dofollow", или робот и без моих подсказок перейдёт туда?

K
На сайте с 31.01.2001
Offline
737
#1
Zarutskiy:
которая запрещена к индексации в robots.txt

Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.

Можете писать на этой странице что угодно, робот ничего не увидит.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Zarutskiy
На сайте с 09.07.2010
Offline
11
#2

Тогда как можно выйти из ситуации? Ту самую страницу, прописанную в robots.txt, в индекс пускать категорически нельзя (чтобы было понятнее - это категория с дублированным текстом)

amaircare
На сайте с 03.02.2006
Offline
104
#3
Zarutskiy:
Тогда как можно выйти из ситуации? Ту самую страницу, прописанную в robots.txt, в индекс пускать категорически нельзя (чтобы было понятнее - это категория с дублированным текстом)

а смысл тогда на ней ссылки держать🚬

У каждого додика - своя методика Покупаю сайты в индексе Яндекса.
Zarutskiy
На сайте с 09.07.2010
Offline
11
#4
amaircare:
а смысл тогда на ней ссылки держать🚬

Эти ссылки как бы на все остальные страницы сайта)) А страницы категорий - всего лишь для разбивания их по разделам.

Rimlyanin
На сайте с 22.02.2006
Offline
200
#5
Kost:
Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.
Можете писать на этой странице что угодно, робот ничего не увидит.

т.е. на странице, закрытой в роботс можно вывешивать спамные линкаторы, и за это ничего не будет??

F
На сайте с 02.03.2010
Offline
40
#6

ТС, если смысл только в том, чтобы робот прочитал ссылки, то есть много других способов: поставить их на других, индексируемых, страницах или, к примеру, создать карту сайта и т.д.

Rimlyanin:
т.е. на странице, закрытой в роботс можно вывешивать спамные линкаторы, и за это ничего не будет??

зачем это надо? Если от Вас нужна ссылка, то она, уж поверьте, будет проверена на доступность к индексации

Blazon
На сайте с 02.04.2008
Offline
204
#7
Kost:
Информация к размышлению: это запрет не только на индексацию, но и на скачивание этой страницы роботом.
Можете писать на этой странице что угодно, робот ничего не увидит.

Ставил партнерку на сайт, сразу запретил в роботс

User-Agent: *

Disallow: /p/

недавно увидел эту страницу в Гугл вебмастере в предложениях HTML (отсутствует title)

Rimlyanin
На сайте с 22.02.2006
Offline
200
#8
farewell:
зачем это надо? Если от Вас нужна ссылка, то она, уж поверьте, будет проверена на доступность к индексации

Вопрос не про индексацию, а про санкции ....

Brand from Amber
На сайте с 18.08.2007
Offline
263
#9

Zarutskiy, Тег Noindex (для Яндекса) запрещает индексацию текста не запрещая индексации ссылок (если ни чего не перекрутили).

Лучший способ понять что-то самому - объяснить это другому.
gormarket
На сайте с 29.12.2010
Offline
47
#10
Blazon:
Ставил партнерку на сайт, сразу запретил в роботс
User-Agent: *
Disallow: /p/

недавно увидел эту страницу в Гугл вебмастере в предложениях HTML (отсутствует title)

В справках Google (здесь) написано:

Хотя Google не сканирует и не индексирует содержание страниц, заблокированных в файле robots.txt, URL-адреса, обнаруженные на других страницах в Интернете, по-прежнему могут добавляться в индекс.

Так что если не хотите, чтоб какие-то страницы сканировались Гуглом, нужно принять дополнительные меры.

Например можно добавить в .htaccess строки, выдающие роботу Гугла при обращении к некоторым страницам ответ 403 Forbidden (Запрещено).

Для страниц /p/ это будет так:

RewriteCond %{HTTP_USER_AGENT} .*Googlebot.*
RewriteRule ^p/.* - [F]

Товары и цены в магазинах Вашего города: Городской рынок (http://gormarket.ru/)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий