Все вопросы по robots.txt

cheredov
На сайте с 07.04.2011
Offline
125
#191
Diva-Ice:
Добрый день!
Подскажите, пожалуйста, как можно закрыть в robots страницы, содержащие "#"?
Вот такого вида страницы:
site.ru/#p000000
site.ru/#page ну и подобные.

Вы уверены, что они будут индексироваться?

посмотрите тут.

Иван Чередов (http://ivan.cheredov.com/about/)
DI
На сайте с 11.07.2014
Offline
0
#192

мммм... Я плохо в этом разбираюсь. Приведенные примеры ведут на главную страницу. Из той ссылки, что Вы мне дали, я поняла, что робот не видит такие страницы как дубли. Он просто видит главную. Я права? Поясните мне, пожалуйста.

---------- Добавлено 14.07.2014 в 13:21 ----------

Diva-Ice:
мммм... Я плохо в этом разбираюсь. Приведенные примеры ведут на главную страницу. Из той ссылки, что Вы мне дали, я поняла, что робот не видит такие страницы как дубли. Он просто видит главную. Я права? Поясните мне, пожалуйста.

Поясню: мне нужно, чтобы главная страница индексировалась, а подобные ссылки нет.

(извините, что дублирую сообщение. не нашла как отредактировать свое :()

---------- Добавлено 14.07.2014 в 13:22 ----------

Поясню: мне нужно, чтобы главная страница индексировалась, а подобные ссылки нет.

domen4you
На сайте с 08.03.2013
Offline
53
#193

Как с таким бороться?

Достаточно

Disallow: /?

B4
На сайте с 27.04.2012
Offline
94
#194
domen4you:
Как с таким бороться?

Достаточно
Disallow: /?

Если URL-ы будут находиться в разделе, данной директивой вы их не закроете. Необходимо будет закрыть директивой:

Disallow: /*?

Кстати, в инструкции Google ошибка) https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961#

Команда Disallow: / *? блокирует доступ ко всем URL с вопросительным знаком (то есть ко всем URL, которые начинаются с имени домена и содержат строку с вопросительным знаком).

Такая директива не заблокирует ничего)

---------- Добавлено 31.07.2014 в 14:32 ----------

serg23:
подскажите пожалуйста правильно ли закрыл от индексации
Disallow: /*-stati/
правильная ссылка site/stati/name.html
не правильная ссылка которая также доступна по адресам
site/1-stati/name.html
site/2-stati/name.html
site/{любая цифра или буква}-stati/name.html


спасибо

верно, но учитывайте что вы не только любую цифру или букву закроете, но и любое слово,

вот так:

site/{любое слово}-stati/name.html

DS
На сайте с 02.08.2014
Offline
59
#195

Уважаемые Эксперты)))

вопрос по robots.txt - гугл.вебмастер говорит о большом количестве страниц с повторяющимся метаописанием. см картинку.

как бы удалить посредством robots.txt дублирующиеся страницы?

т.к. страницы одинаковые - см ниже

lerba.ru/catalog/detail.php?ID=167&SECTION_ID=10

lerba.ru/catalog/detail.php?ID=167

и по какой-то логики сортировки или чего-то еще показывается второй раз....

спасибо заранее))

Дмитрий Ямайкин
На сайте с 24.02.2013
Offline
29
#196

Помогите закрыть от индексации все страницы тегов.

Адрес имеет такой вид

http:// chekhoved. net/theatrepedia/tag/369-rekonstruktsiya

Так правильно?

User-agent: *

Disallow: /tag

B4
На сайте с 27.04.2012
Offline
94
#197
Don-Serhio:
Уважаемые Эксперты)))

вопрос по robots.txt - гугл.вебмастер говорит о большом количестве страниц с повторяющимся метаописанием. см картинку.



как бы удалить посредством robots.txt дублирующиеся страницы?
т.к. страницы одинаковые - см ниже
lerba.ru/catalog/detail.php?ID=167&SECTION_ID=10
lerba.ru/catalog/detail.php?ID=167

и по какой-то логики сортировки или чего-то еще показывается второй раз....

спасибо заранее))

если оставить только

lerba.ru/catalog/detail.php?ID=167

User-agent: Yandex

Clean-param: SECTION_ID

User-agent: *

Disallow: /*SECTION_ID

---------- Добавлено 05.08.2014 в 10:29 ----------

Дмитрий Ямайкин:
Помогите закрыть от индексации все страницы тегов.

Адрес имеет такой вид
http:// chekhoved. net/theatrepedia/tag/369-rekonstruktsiya

Так правильно?

User-agent: *
Disallow: /tag

Disallow: /theatrepedia/tag/

Дмитрий Ямайкин
На сайте с 24.02.2013
Offline
29
#198

Disallow: /theatrepedia/tag/

И напоследок глупый вопрос - как отредактировать robots? Думал, что это в вебмастере можно сделать, но вроде нельзя. Доступ к ftp нужен?

B4
На сайте с 27.04.2012
Offline
94
#199
Дмитрий Ямайкин:
И напоследок глупый вопрос - как отредактировать robots? Думал, что это в вебмастере можно сделать, но вроде нельзя. Доступ к ftp нужен?

через ftp скачать и отредактировать любым редактором: блокнот или notepad++ и не забыть залить обратно :)

через cms если стоит, редактором.

через встроенную панель управления хостингом, например Cpanel, через редактор файлов.

выбирайте любой 🍿

artcrazy
На сайте с 20.03.2010
Offline
81
#200

Камрады, помогите, пожалуйста, советом.

Создаю директиву

User-agent: *

Disallow: /p2

А Google WMT при тестировании robots.txt говорит, что URL вида

site.ru/rem/p20 - доступен для робота.

Подскажите, где ошибка?

И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий