- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все привет.
У нас сайте многие страницы дублируются из-за множественных переписок типа: ?...
Например:
mysite.ru /?url=noredirect
mysite.ru/?source_type={STYPE}&source={SRC}
И такие дубли находятся в индексе.
Сайт старый, появилось еще до меня.
Хочу запретить к индексу все дубли страниц, у которых есть приписка «?» (т.е. означающая что дальше пойдет какй-то id-шник или метка).
Это можно сделать через robots.txt ?
Закрывать нужно через Disallow?
Пример:
User-agent : *
Disallow: /?
Или через Clean-param?
Пример:
User-agent : *
Clean-param: ?
Если ? всегда идет после главной без категорий и т.д., то так:
/?*
User-agent: *
Allow: /$
Disallow: /
Что здесь будет индексироваться , а что нет???
по идее в первом случае запрет коснется /xxx/*, не затронув /!xxx/
во втором - /ххх*/*, не затронув /!xxx/
а в третьем - любая папка или файл что содержат ххх будут запрещены
оставил Disallow: /!xxx/
Яндекс ругается на недопустимый символ, но показывает что данная папка таки запрещена..
User-agent: *
Allow: /$
Disallow: /
Что здесь будет индексироваться , а что нет???
Будет индексироваться только главная.
Будет индексироваться только главная.
https://ok.ru/robots.txt вот он...
Тут чтото хитрее...
Яндекс вебмастер пишет: понял, что надо вставить host:https://sookhov.ru а куда вставлять в начало , в середину и правильно ли написано?
В файле robots.txt не задана директива Host
Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.
Добавьте директиву Host в файл robots.txt.
Куда host:https://sookhov.ru
вставить- в начало, в конец или середину
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: http://sookhov.ru/?p=7805
В файле robots.txt не задана директива Host
Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически.
Добавьте директиву Host в файл robots.txt.
И в чём вопрос?
ставь в конец