- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть сайт www.euro-mg.ru
В выдаче яндекса куча дулей страниц: ВЫДАЧА
Подскажите как заполнить rotots.txt что бы убрать дули, сейчас он выглядит так:
User-agent: *
Crawl-delay: 10
# Directories
Disallow: /includes/
Disallow: /misc/
Disallow: /modules/
Disallow: /profiles/
Disallow: /scripts/
Disallow: /themes/
# Files
Disallow: /CHANGELOG.txt
Disallow: /cron.php
Disallow: /INSTALL.mysql.txt
Disallow: /INSTALL.pgsql.txt
Disallow: /install.php
Disallow: /INSTALL.txt
Disallow: /LICENSE.txt
Disallow: /MAINTAINERS.txt
Disallow: /update.php
Disallow: /UPGRADE.txt
Disallow: /xmlrpc.php
# Paths (clean URLs)
Disallow: /admin/
Disallow: /comment/reply/
Disallow: /logout/
Disallow: /node/add/
Disallow: /search/
Disallow: /user/register/
Disallow: /user/password/
Disallow: /user/login/
# Paths (no clean URLs)
Disallow: /?q=admin/
Disallow: /?q=comment/reply/
Disallow: /?q=logout/
Disallow: /?q=node/add/
Disallow: /?q=search/
Disallow: /?q=user/password/
Disallow: /?q=user/register/
Disallow: /?q=user/login/
Disallow: /taxonomy
Disallow: /manufacturer/adata
Disallow: /manufacturer/apexto
Disallow: /manufacturer/goodram
Disallow: /manufacturer/integral
Disallow: /manufacturer/kingmax
Disallow: /manufacturer/pqi
Disallow: /manufacturer/silicon-power
Disallow: /manufacturer/supertallent
Disallow: /manufacturer/team
Disallow: /manufacturer/kitai
Disallow: /manufacturer/rossiya
Disallow: /flashvolume/1gb
Disallow: /flashvolume/2gb
Disallow: /flashvolume/4gb
Disallow: /flashvolume/8gb
Disallow: /flashvolume/16gb
Disallow: /formdelivery/v-nalichii
Disallow: /formdelivery/pod-zakaz
Disallow: /formdelivery/tranzit
Disallow: /node/244
Sitemap:http://www.euro-mg.ru/sitemap.xml
Host:www.euro-mg.ru
Заранее спасибо!
Я бы для начала добавила
Disallow: /user/password - открыто и Disallow: /user/register
А еще
Disallow: /*&
Disallow: /*%
Disallow: /*?*
Disallow: /*?page=* - не знаю, насколько правильная конструкция, и насколько нужна.
Disallow: /taxonomy/term/*/0$
Disallow: /taxonomy/*
Disallow: /taxonomy/term/ - криво, в три строки, но так разобралась с таксономией
Ппусть кто-то дополнит - на быструю руку не пойму, что закрывать/не закрывать :)
xasssss,
Disallow: /*&
Disallow: /*?page=0
Allow: /*?page=
Disallow: /*?
Дубли от старого движка, это битрикс был?
Добавьте:
Disallow: /*?
А вообще эти дубли могут отрицательно сказывается на продвижении? и если да то насколько?
А вообще эти дубли могут отрицательно сказывается на продвижении?
Да.
и если да то насколько?
Фатально.
Почему мы оставляем Allow: /*?page= - это получается пейджер будет индексироваться, верно? из-за этого же дубли.... У себя запретил /*?page= Как кто считает?
Зайдите на свой сайт по адресу site.ru?blablabla - получится дубль главной. Если у вас сайт на ЧПУ, то закрываем все так:
Disallow: /*?
Disallow: /*?*
можно и без последней звёздочки, что равнозначно отсутствию
в конце строки закрывающего слеша или $ (якорь конца строки)
можно и без последней звёздочки
Можно - только я это позже поняла. Боролась со страницей вида page/24/?option= И без звездочки не так, и со звездочкой не так - нет бы подождать, пока Гугл переиндексирует.