Все вопросы по robots.txt

Подскажите пожалуйста, как закрыть дубли такого типа?

/news/

/news

Добрый день, подскажите как правильно закрыть архивы, информацию об авторе и страницы "Part 2". Спасибо.

Добрый день! Как правильно закрыть страницы типа:

/kvartira/?type=92&sortby=&cpage=18

/kvartira/?type=92&sortby=&cpage=

/kvartira/?type=92&sortby=price

но оставить страницу /kvartira/?type=92 или

Подскажите, пожалуйста, возможно кто-нибудь сталкивался с движком LiveStreet CMS. Собрал для своего сайта robots.txt, но возможно что-то упустил. Подскажите если что-то забыл закрыть или добавил лишнего. Буду очень благодарен.

User-agent: *
Disallow: /comments/
Disallow: /index/
Disallow: /tag/
Disallow: /feed/
Disallow: /rss/
Disallow: /talk/
Disallow: /my/
Disallow: /search/
Disallow: /subscribe/
Disallow: /settings/
Disallow: /people/
Disallow: /photoset/
Disallow: /profile/
Disallow: /error/
Disallow: /people/index/
Disallow: /people/country/
Disallow: /blog/newall/
Disallow: /blog/discussed/
Disallow: /blog/top/
Disallow: /personal_blog/newall/
Disallow: /personal_blog/discussed/
Disallow: /personal_blog/top/

Host: мойсайт.ру

Поскажите, нужно ли прописывть парметры Clean-param: и Sitemap по два раза?

Имеется ввиду, часто можно встретить такую запись:

А можно такую:

Есть ли разница? Ведь в вебмастере Яндекса тогда будет по две строчки отображаться с Clean-param: и Sitemap.

Доброго дня профессионалы.

Очень прошу посмотреть robots.txt

Яндекс не индексирует сайт

User-agent: Yandex

Disallow: /index.html

Disallow: /ru/index.html

Disallow: /ru-*

Disallow: /*?

Disallow: /*?print

Disallow: /*search.html

Disallow: /*_openstat

Disallow: /*from=adwords

Disallow: /*show=info

Disallow: /*show=ref

Disallow: /*p_id=*

Disallow: /*welcomfunc*

Disallow: /*noback*

Sitemap: http://fsc-group.ru/ru/sitemap.xml

Host: fsc-group.ru

User-agent: *

Disallow: /index.html

Disallow: /ru/index.html

Disallow: /*search.html

Disallow: /ru-*

Disallow: /*?

Disallow: /*?print

Disallow: /*_openstat

Disallow: /*from=adwords

Disallow: /*show=info

Disallow: /*show=ref

Disallow: /*p_id=*

Disallow: /*welcomfunc*

Disallow: /*noback*

Sitemap: http://fsc-group.ru/ru/sitemap.xml

Host: fsc-group.ru

если правильно понял, Вам нужно поставить 301 редирект (.htaccess)

---------- Добавлено 23.06.2014 в 20:13 ----------

приведите пожалуйста url-ы, постараюсь помочь

---------- Добавлено 23.06.2014 в 20:21 ----------

для Яндекста можно межсекционную директиву клин-парам использовать:

User-agent: Yandex

Clean-param: sortby=&cpage=

для остальных ПС:

User-agent: *

Disallow: *sortby=&cpage=

Итоговый файл:

User-agent: Yandex
Clean-param: sortby=&cpage=

User-agent: *
Disallow: *sortby=&cpage=

User-agent: *
Disallow: /comments/
Disallow: /index/
Disallow: /tag/
Disallow: /feed/
Disallow: /rss/
Disallow: /talk/
Disallow: /my/
Disallow: /search/
Disallow: /subscribe/
Disallow: /settings/
Disallow: /people/
Disallow: /photoset/
Disallow: /profile/
Disallow: /error/
Disallow: /people/index/
Disallow: /people/country/
Disallow: /blog/newall/
Disallow: /blog/discussed/
Disallow: /blog/top/
Disallow: /personal_blog/newall/
Disallow: /personal_blog/discussed/
Disallow: /personal_blog/top/

Host: мойсайт.ру

не сталкивался, но мне кажется нужно использовать в host - пуникод, https://www.reg.ru/whois/punycode

---------- Добавлено 23.06.2014 в 20:25 ----------

проблем с роботсом не вижу, есть проблема в том, что у Вас был вирус на сайте, пишите в поддержку. В выдаче страница вируса:

Gluten free diet plan vbulletin

fsc-group.ru›form/kdqgc.php…

Weight Loss Go » Gluten Free Diet Plan #58 Of course, we are bringing you a total of one hundred different tips for achieving your greatest wish, which is to lose weight. This post continues in the current...

---------- Добавлено 23.06.2014 в 20:29 ----------

не нужно, это межсекционные директивы. Клин-парам работает только в Яндексе.

---------- Добавлено 23.06.2014 в 20:55 ----------

http://help.yandex.ru/webmaster/files/recommendations.pdf

---------- Добавлено 23.06.2014 в 20:55 ----------

Здравствуйте, у меня вот такой вопрос.

Есть сайт на джумле.

Решили поставить его на другой домен.

В файле robots прописали директиву host с главным зеркалом

Теперь самое главное, можно ли при прописанной директиве host на старом домене поставить 301 редирект на новый домен?

Как мне тут утверждает руководитель, такого сделать невозможно. Но чет я сомневаюсь сильно.

Если возможно, то как это лучше сделать? сервер апач.

если что, то пациент вот - cheaptriptur.ru - старый домен

hotspo.ru - новый домен.

(по поводу сайта не плеваться, он не для поисковиков и не для рекламы, пока болтается просто так, не решили что с ним делать, решим, переделаем под людей)

Возможно я не понял вопрос, но попробую ответить:

директиву host: имеет смысл использовать для склейки зеркал(одинаковых сайтов) только для ПС Яндекс. В Google есть возможность изменить основной домен через GWT (google webmasters tools)

Сегодня выяснилось, что я лузер в настройке robots.txt, потому что не знал, что

Disallow: /index.php

оказывается, запрещает индексацию всех страниц, URL которых начинается на index.php (по крайней мере, для Яндекса это так).

Раньше я как дурак думал, что для этого нужно использовать

Disallow: /index.php*

В связи с чем вопрос: в чём тогда разница между двумя этими правилами?