Все вопросы по robots.txt

CHePaS
На сайте с 22.10.2013
Offline
26
#101

Пишите Disallow: site.ru/m/, не прогадаете :)

Заходит как-то SEOшник в бар, ресторан, купить алкогольные напитки, клубы, лучшие бары в Москве, заказать банкет в ресторане…
bandesign
На сайте с 10.02.2010
Offline
94
#102

Привет всем!

У меня проблемма такого рода:

ЦМС сделана так что может выдавать ссылки с небольшими изменениями, из-за чего получаются дубли страниц.

Для примера:

http://www.bandesign.ru/portfolio.php?work=147&s=0

http://www.bandesign.ru/portfolio.php?work=147&s=0&ss=1

Это ссылка в принципе на одну и ту же страницу но с различиями в навигации, получается дубль. Таких страниц много и при добвлении новой страницы, соответсвенно появляется и дубль. Как быть в такой ситуации? Как лучше и эффективнее побороть данную проблемму, что бы не прописывать в дизаллоу каждый дубль? Может как-то через Clean-param? Пожалуйста подскажите, я с роботс.тхт столкнулся впервые, боюсь что-то напутать.

Дизайн и изготовление рекламы (https://bandesign.ru)
iksora
На сайте с 30.01.2014
Offline
2
#103

посмотрите как сделано для моб версии хабра

ссылка

Наполнение Ваших пабликов в ФБ и ВК
bandesign
На сайте с 10.02.2010
Offline
94
#104
iksora:
посмотрите как сделано для моб версии хабра
ссылка

Посмотрел но ни чего не понял, на что мне обратить внимание? А лучше конечно разобрать мой конкретный случай, так понятнее и нагляднее будет.

safronoff343
На сайте с 21.08.2012
Offline
100
#105

Здравствуйте.

Подскажите, пожалуйста, верно я прописываю Disallow: /*?*?

Это избавит от страниц вида /?yclid=5670..... , /index.php?option=..... , /?limitstart=..... в поиске?

Спасибо!

L
На сайте с 15.09.2012
Offline
17
#106

Помогите мне с роботсом мой сайт вот http://siday.com.ua/ движок регенирирует такие страницы как:

siday.com.ua/catalog/kreslo-meshok-piramida?sort=name‎

siday.com.ua/catalog/kreslo-meshok-grusha-ekokozha?sort=position‎

siday.com.ua/products/?sort=position&page=14‎

правельно ли я указал роботс:

Disallow: /?sort=name
Disallow: /?sort=position
Disallow: /?sort=name
Disallow: /?sort=position&page=all?
Disallow: /?sort=price&page=2
Disallow: /?sort=position&page=14
T
На сайте с 25.03.2011
Offline
121
#107

Добрый день.

Надо ли в robots.txt прописать Disallow: /error404.html?

bandesign
На сайте с 10.02.2010
Offline
94
#108

Вообще ни кто отвечать не хочет... :(

zamtex
На сайте с 07.12.2013
Offline
17
#109

Подскажите у меня в Явебмастере среди исключенных страниц, страницы вида:

/?p=346

/?p=459

У меня настроено ЧПУ, этот тип страниц действительно запрещен у меня в роботс, но откуда они берутся в таком формате, если ЧПУ настроено? Или это нормально и мне не следует обращать на это внимание?

genjnat
На сайте с 08.10.2008
Offline
230
#110

Как я понимаю речь о WordPress, если так, то после настройки ЧПУ, страницы вида /?p=346 никуда не исчезают. Просто с них начинает работать редирект на ЧПУ.

А то что они отображаются в панели ЯВМ среди запрещенных, скорее всего следствие того что ЧПУ настроили не сразу.

Но в общем да, переживать не о чем

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий