- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
А так ???
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Sitemap: http://site.ru/sitemap.xml
поправил лишние пробелы.
Подскажите, с одной страницы на другую сделать редирект (в связи со сменой адресов на чпу) и старую страницу закрыть в роботсе.... вес ссылочной массы перельется?
Добрый день!
В файле robots.txt у меня закрыты страницы с тэгами:
Disallow: /tag55.html
Disallow: /tag55.html?
Disallow: /tag55$
Я решил закрыть эти страницы мета-тэгом и добавил в код:
<meta name="robots" content="noindex, nofollow" />
Подскажите, что в данном случае делать с файлом robots.txt - оставлять в нем эти запреты? Или лучше убрать?
Vimaz, не критично, уже закрыто же
Подскажите, с одной страницы на другую сделать редирект (в связи со сменой адресов на чпу) и старую страницу закрыть в роботсе.... вес ссылочной массы перельется?
301 редирект, старую страницу закрывать не нужно. Вес передается.
---------- Добавлено 19.12.2014 в 22:11 ----------
Добрый день!
В файле robots.txt у меня закрыты страницы с тэгами:
Disallow: /tag55.html
Disallow: /tag55.html?
Disallow: /tag55$
Я решил закрыть эти страницы мета-тэгом и добавил в код:
<meta name="robots" content="noindex, nofollow" />
Подскажите, что в данном случае делать с файлом robots.txt - оставлять в нем эти запреты? Или лучше убрать?
robots.txt - рекомендации, например google вообще может на него не обращать внимание.
meta name="robots" - мета-теги приобретены и будут выполнены.
Здравствуйте, ребята, сайт на DLE, есть страницы, которые не нужны, вида http://сайт .ru/2014/11/14/ и так далее, в них материалы за этот день. Как мне закрыть эти страницы в robots.txt? Они в индексе не нужны...
Если я написал так в роботе:
User-agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /engine/download.php?id=*
Disallow: /user/
Disallow: /newposts/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /favorites/
Disallow: /language/
Disallow: /templates/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Sitemap: http://сайт .ru/sitemap.xml
Host: сайт .ru
Так пойдет? Там ведь разные месяца и дни будут /2014/10/14/ - /2014/11/24/ и так далее.
То что я написал в роботе закроет их все или нет? Или может какие знаки нужно еще дописать..?
301 редирект, старую страницу закрывать не нужно. Вес передается.
---------- Добавлено 19.12.2014 в 22:11 ----------
robots.txt - рекомендации, например google вообще может на него не обращать внимание.
meta name="robots" - мета-теги приобретены и будут выполнены.
Ок, понятно. Значит, на мое усмотрение
Здравствуйте, ребята, сайт на DLE, есть страницы, которые не нужны, вида http://сайт .ru/2014/11/14/ и так далее, в них материалы за этот день. Как мне закрыть эти страницы в robots.txt? Они в индексе не нужны...
Если я написал так в роботе:
User-agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /engine/download.php?id=*
Disallow: /user/
Disallow: /newposts/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /favorites/
Disallow: /language/
Disallow: /templates/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Sitemap: http://сайт .ru/sitemap.xml
Host: сайт .ru
Так пойдет? Там ведь разные месяца и дни будут /2014/10/14/ - /2014/11/24/ и так далее.
То что я написал в роботе закроет их все или нет? Или может какие знаки нужно еще дописать..?
закроет - по умолчанию идет *(регулярка - все символы) в конце строки.
То есть я могу так оставлять? Там же в папке получается много разных месяцов и дней, они тоже все закроются? Или нужно написать так:
Disallow: /2014/*
Disallow: /2015/*
Disallow: /2016/*
Просто хочу уточнить и сделать правильно все.
То есть я могу так оставлять? Там же в папке получается много разных месяцов и дней, они тоже все закроются? Или нужно написать так:
Disallow: /2014/*
Disallow: /2015/*
Disallow: /2016/*
Просто хочу уточнить и сделать правильно все.
достаточно:
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/