bulatbulat48

Рейтинг
94
Регистрация
27.04.2012
artcrazy:
Камрады, помогите, пожалуйста, советом.

Создаю директиву
User-agent: *
Disallow: /p2

А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.

Подскажите, где ошибка?

И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?

еще точнее будет:

User-agent: *

Disallow: /rem/p7$

маловероятно, но так вы не запретите url-ы /rem/p7sdfdsf

artcrazy:
Камрады, помогите, пожалуйста, советом.

Создаю директиву
User-agent: *
Disallow: /p2

А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.

Подскажите, где ошибка?

И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?

User-agent: *

Disallow: /*p2

это общее правило, но так вы рискуете закрыть страницы: /p2dsfsdf/

лучше каждый атрибут:

Disallow: /rem/p7

Дмитрий Ямайкин:
И напоследок глупый вопрос - как отредактировать robots? Думал, что это в вебмастере можно сделать, но вроде нельзя. Доступ к ftp нужен?

через ftp скачать и отредактировать любым редактором: блокнот или notepad++ и не забыть залить обратно :)

через cms если стоит, редактором.

через встроенную панель управления хостингом, например Cpanel, через редактор файлов.

выбирайте любой 🍿

Ратник:
У вас что, кровать сильно пыльная?)

пыльная кошка))

Don-Serhio:
Уважаемые Эксперты)))

вопрос по robots.txt - гугл.вебмастер говорит о большом количестве страниц с повторяющимся метаописанием. см картинку.



как бы удалить посредством robots.txt дублирующиеся страницы?
т.к. страницы одинаковые - см ниже
lerba.ru/catalog/detail.php?ID=167&SECTION_ID=10
lerba.ru/catalog/detail.php?ID=167

и по какой-то логики сортировки или чего-то еще показывается второй раз....

спасибо заранее))

если оставить только

lerba.ru/catalog/detail.php?ID=167

User-agent: Yandex

Clean-param: SECTION_ID

User-agent: *

Disallow: /*SECTION_ID

---------- Добавлено 05.08.2014 в 10:29 ----------

Дмитрий Ямайкин:
Помогите закрыть от индексации все страницы тегов.

Адрес имеет такой вид
http:// chekhoved. net/theatrepedia/tag/369-rekonstruktsiya

Так правильно?

User-agent: *
Disallow: /tag

Disallow: /theatrepedia/tag/

Чтобы не было такой пыли не стоит ставить ноут на кровать.. в Леруа продается специальная подставка удобная..

Хотел почистить ноут леново, разобрал и оказывается и чистить почти не нужно.. ноуту 2-3 года.. Чистил баллончиком сжатого воздуха..

The WishMaster:
Это раньше было.

А как считаете PR своего аккаунта G+, и PR связанных аккаунтов G+ (известных личностей) косвенно влияет на авторитетность ресурса?

domen4you:
Как с таким бороться?

Достаточно
Disallow: /?

Если URL-ы будут находиться в разделе, данной директивой вы их не закроете. Необходимо будет закрыть директивой:

Disallow: /*?

Кстати, в инструкции Google ошибка) https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961#

Команда Disallow: / *? блокирует доступ ко всем URL с вопросительным знаком (то есть ко всем URL, которые начинаются с имени домена и содержат строку с вопросительным знаком).

Такая директива не заблокирует ничего)

---------- Добавлено 31.07.2014 в 14:32 ----------

serg23:
подскажите пожалуйста правильно ли закрыл от индексации
Disallow: /*-stati/
правильная ссылка site/stati/name.html
не правильная ссылка которая также доступна по адресам
site/1-stati/name.html
site/2-stati/name.html
site/{любая цифра или буква}-stati/name.html


спасибо

верно, но учитывайте что вы не только любую цифру или букву закроете, но и любое слово,

вот так:

site/{любое слово}-stati/name.html

dmkolesnikov:
ну уж и мне тогда:)

ПС: я сразу говорил что это проблемы, а связаны они с переходом на острова. интересно, что же за такой эффективный менеджер сидит в яндексе последние года полтора? неужели смерть сеголовича повлияла.

вертикальный поиск мутят) Вот менеджер видимо) https://tech.yandex.ru/events/yasubbotnik/spb-feb-2011/talks/252/

Всего: 780