- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Помогите прописать в robots.txt то, что нужно. Никак не могу понять, что запретить, а что разрешить.
1. Есть сайт, допустим mysite.ru
Структура каталога такова mysite.ru/catalog/7/допустим страничка под номером 1340/
А дальше поисковой механизм сайта (построен на Битрикс) порой создает странички, генерируемые самими пользователями, начинающиеся на ?q=%ED%E0%EB%EE…… и так далее. Гугл и Яндекс считают их за дубли. Так оно и есть.
Как запретить индексацию именно этих страничек, оставив нетронутым основное содержимое mysite.ru/catalog/7/1340/
Тоже самое mysite.ru/catalog/6/40/
mysite.ru/catalog/5/30/ и т.д.
Вплоть до
mysite.ru/ без ?q=%ED%E0%EB%EE……
То есть нужно избавиться от поисковых страничек, сгенерированных поисковой системой Битрикса, начинающихся на ?q= в любом месте сайта.
2. Запретить mysite.ru/personal/detail.php?ID=161 – и вообще весь каталог personal
Все это для всех поисковых систем: и Яндекс и Гугл и пр.
Спасибо заранее.
Поиск в битриксе рубится так: Disallow: /search/
Каталог personal аналогично: Disallow: /personal/
Кстати говоря, в битриксе помимо поиска есть чему генерить дубли. Это странички для печати, странички авторизации, странички регистрации, возвраты на предыдущие страницы (backurl)... это только из штатного, а может быть ещё и самопис, который тоже не всегда корректно себя ведёт.
Спасибо. Пока ждал ответов (да, поздно ночью) составил сам:
User-agent: *
Disallow: /?q=
Disallow: /personal
так возможно?
Каталога /search/ в структуре сайта нет.
Проверил в яндекс-вебмастере по роботс: странички разрешены к индексированию вида mysite.ru/catalog/7/1340/?q=%ED%E0%EB%EE... :(
Каталога /search/ в структуре сайта нет.
Это штатный поиск битрикса. Значит у вас не поиск в чистом виде, а поисковые фильтры.
Disallow: /?q=
Disallow: /*?q=
Disallow: /personal
Disallow: /personal/
Спасибо!
Только у меня в Яндексе кажет, что доступ к "персонал" разрешен, если стоит директива
Disallow: /personal/
Прокатывает только без последнего слэша.
Все равно спасибо огромное.