А Google WMT при тестировании robots.txt говорит, что URL вида site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
еще точнее будет:
User-agent: *
Disallow: /rem/p7$
маловероятно, но так вы не запретите url-ы /rem/p7sdfdsf
А Google WMT при тестировании robots.txt говорит, что URL вида site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
User-agent: *
Disallow: /*p2
это общее правило, но так вы рискуете закрыть страницы: /p2dsfsdf/
Дмитрий Ямайкин: И напоследок глупый вопрос - как отредактировать robots? Думал, что это в вебмастере можно сделать, но вроде нельзя. Доступ к ftp нужен?
через ftp скачать и отредактировать любым редактором: блокнот или notepad++ и не забыть залить обратно :)
через cms если стоит, редактором.
через встроенную панель управления хостингом, например Cpanel, через редактор файлов.
вопрос по robots.txt - гугл.вебмастер говорит о большом количестве страниц с повторяющимся метаописанием. см картинку.
как бы удалить посредством robots.txt дублирующиеся страницы? т.к. страницы одинаковые - см ниже lerba.ru/catalog/detail.php?ID=167&SECTION_ID=10 lerba.ru/catalog/detail.php?ID=167
и по какой-то логики сортировки или чего-то еще показывается второй раз....
спасибо заранее))
если оставить только
lerba.ru/catalog/detail.php?ID=167
User-agent: Yandex
Clean-param: SECTION_ID
User-agent: *
Disallow: /*SECTION_ID
---------- Добавлено 05.08.2014 в 10:29 ----------
Дмитрий Ямайкин: Помогите закрыть от индексации все страницы тегов.
Адрес имеет такой вид http:// chekhoved. net/theatrepedia/tag/369-rekonstruktsiya
Команда Disallow: / *? блокирует доступ ко всем URL с вопросительным знаком (то есть ко всем URL, которые начинаются с имени домена и содержат строку с вопросительным знаком).
Такая директива не заблокирует ничего)
---------- Добавлено 31.07.2014 в 14:32 ----------
serg23: подскажите пожалуйста правильно ли закрыл от индексации
Disallow: /*-stati/
правильная ссылка site/stati/name.html
не правильная ссылка которая также доступна по адресам
site/1-stati/name.html
site/2-stati/name.html
site/{любая цифра или буква}-stati/name.html
спасибо
верно, но учитывайте что вы не только любую цифру или букву закроете, но и любое слово,
ПС: я сразу говорил что это проблемы, а связаны они с переходом на острова. интересно, что же за такой эффективный менеджер сидит в яндексе последние года полтора? неужели смерть сеголовича повлияла.
Камрады, помогите, пожалуйста, советом.
Создаю директиву
User-agent: *
Disallow: /p2
А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
еще точнее будет:
User-agent: *
Disallow: /rem/p7$
маловероятно, но так вы не запретите url-ы /rem/p7sdfdsf
Камрады, помогите, пожалуйста, советом.
Создаю директиву
User-agent: *
Disallow: /p2
А Google WMT при тестировании robots.txt говорит, что URL вида
site.ru/rem/p20 - доступен для робота.
Подскажите, где ошибка?
И еще вопрос (если найдется решение на предыдущий), как аккуратно закрыть все страницы, в которых присутствуют: p1/p2/p3/p4/p5/p6/p7/p8/p9 (лишняя пагинация) ?
User-agent: *
Disallow: /*p2
это общее правило, но так вы рискуете закрыть страницы: /p2dsfsdf/
лучше каждый атрибут:
Disallow: /rem/p7
И напоследок глупый вопрос - как отредактировать robots? Думал, что это в вебмастере можно сделать, но вроде нельзя. Доступ к ftp нужен?
через ftp скачать и отредактировать любым редактором: блокнот или notepad++ и не забыть залить обратно :)
через cms если стоит, редактором.
через встроенную панель управления хостингом, например Cpanel, через редактор файлов.
выбирайте любой 🍿
У вас что, кровать сильно пыльная?)
пыльная кошка))
Уважаемые Эксперты)))
вопрос по robots.txt - гугл.вебмастер говорит о большом количестве страниц с повторяющимся метаописанием. см картинку.
как бы удалить посредством robots.txt дублирующиеся страницы?
т.к. страницы одинаковые - см ниже
lerba.ru/catalog/detail.php?ID=167&SECTION_ID=10
lerba.ru/catalog/detail.php?ID=167
и по какой-то логики сортировки или чего-то еще показывается второй раз....
спасибо заранее))
если оставить только
lerba.ru/catalog/detail.php?ID=167
User-agent: Yandex
Clean-param: SECTION_ID
User-agent: *
Disallow: /*SECTION_ID
---------- Добавлено 05.08.2014 в 10:29 ----------
Помогите закрыть от индексации все страницы тегов.
Адрес имеет такой вид
http:// chekhoved. net/theatrepedia/tag/369-rekonstruktsiya
Так правильно?
User-agent: *
Disallow: /tag
Disallow: /theatrepedia/tag/
Чтобы не было такой пыли не стоит ставить ноут на кровать.. в Леруа продается специальная подставка удобная..
Хотел почистить ноут леново, разобрал и оказывается и чистить почти не нужно.. ноуту 2-3 года.. Чистил баллончиком сжатого воздуха..
/ru/forum/comment/13018743
Это раньше было.
А как считаете PR своего аккаунта G+, и PR связанных аккаунтов G+ (известных личностей) косвенно влияет на авторитетность ресурса?
Как с таким бороться?
Достаточно
Disallow: /?
Если URL-ы будут находиться в разделе, данной директивой вы их не закроете. Необходимо будет закрыть директивой:
Disallow: /*?
Кстати, в инструкции Google ошибка) https://support.google.com/webmasters/answer/6062596?hl=ru&ref_topic=6061961#
Команда Disallow: / *? блокирует доступ ко всем URL с вопросительным знаком (то есть ко всем URL, которые начинаются с имени домена и содержат строку с вопросительным знаком).
Такая директива не заблокирует ничего)
---------- Добавлено 31.07.2014 в 14:32 ----------
подскажите пожалуйста правильно ли закрыл от индексации
Disallow: /*-stati/
правильная ссылка site/stati/name.html
не правильная ссылка которая также доступна по адресам
site/1-stati/name.html
site/2-stati/name.html
site/{любая цифра или буква}-stati/name.html
спасибо
верно, но учитывайте что вы не только любую цифру или букву закроете, но и любое слово,
вот так:
site/{любое слово}-stati/name.html
ну уж и мне тогда:)
ПС: я сразу говорил что это проблемы, а связаны они с переходом на острова. интересно, что же за такой эффективный менеджер сидит в яндексе последние года полтора? неужели смерть сеголовича повлияла.
вертикальный поиск мутят) Вот менеджер видимо) https://tech.yandex.ru/events/yasubbotnik/spb-feb-2011/talks/252/