Запрет индексации страницы в robots.txt

только первой из них.

Запрет только на www.site.ru/aaa.html

В остальных случаях надо будет указать и директории.

Хотел купить ссылку с сайта, но в robots.txt есть такая строчка

User-Agent: *

Disallow: /index.html

Прочитал небольшую дискуссию на эту тему , но так как я SEO-новичок, решил спросить в своей теме.

Вообщем, после прочтения я еще больше запутался 😕 . Мне нужна ссылка с морды, не закрытая от индексации в Я. Разве index.html - это не главная страница сайта?

А чем Вас не устраивают исчерпывающие ответы от умных людей, полученные в той "дискуссии"? Если Вы приглядитесь, то заметите, что дискуссии там нет. Есть ошибочное мнение, которое было признано ошибочным в том числе и самим его автором.

Главная страница нормального сайта - http://site.ru/ или http://www.site.ru/, а не http://site.ru/index.html . Если в Вашем случае страницы http://site.ru/ нету (редиректит на http://site.ru/index.html), то передайте сайтостроителям, чтобы убили себя апстену, и не покупайте ссылку. В иных случаях это не страшно.

Спасибо за ответ.

Просто я в них запутался и решил на всякий случай спросить здесь. Там бы мне скорее всего ответили: "Читай лучше предыдущие посты!!!". А здесь я чувствую себя в своей тарелке:)

вы правы на 50%, дело в том , что главной является страница не http://site.ru а http://site.ru/ именно со слэшем

а по сабжу главной страницей может быть и xz.http - все зависит от настроек сервера...

Допустил неточность. Исправил. Спасибо.

По этой же теме возник вопрос такого плана: если в robots.txt запретить страницу http://mysites.ru/?article=id, т.е. Disallow: /?article=id, будет ли при этом запрещена страница вида: http://mysites.ru/index.php?article=id ?

torodea, было большое и небесполезное обсуждение на эту тему, поищите.

Вот, нашел

/ru/forum/93811