Да, конечно. Только мы немного не про файл robots.txt говорим, а про метатэг robots
У меня вот еще вопрос, может кто знает. Не так давно здесь уже обсуждался такой вариант закрытия ссылок от индексирования:
<a href="http://www.сайт.com/" rel="nofollow">
А если rel="noindex" или скажем rel="none" - думаю аналогично, за такие вещи надо в черный список вносить. Т.е. я мыслю по аналогии с метатэгом robots, там я любой из этих вариантов однозначно оцениваю, а здесь, только при rel="nofollow" или при всех вариантах?
Ну, судя по всему, у них просто нет такого файла - robots.txt, и наверное страница ошибок настроена таким образом чтобы выдавать главную при запросе не существующих файлов с сервера.
Файл robots.txt должен лежать именно в корне, иначе поисковый робот просто не будет выполнять его инструкции.
http://www.site.ru/robots.txt
Чревато сведением счетов. О чем не раз уже говорили здесь. Вопрос очень тонкий.
И уж чтобы совсем убедить, даю ссылку на разрабатываемую сечас версию скрипта LinkChecker о которой писал выше. Можете посмотреть сами и решить для чего я это делаю. Думаю что поймете, что не для обмана, а как раз наоборот для того, чтобы не меняться ссылками с недобросовестными людьми.
http://samkov.msk.ru/linkchecker2/index.php
Правда, примите во внимание, что скрипт еще малость сыроват, могут встречаться баги, но саму идею -поймете сразу.
Кстати, надеюсь, что я Вас все-таки убедил. А то Вы увидев где-то NOINDEX сразу же впадаете в панику. Разобраться надо.
http://samkov.msk.ru/clients.php
Здесь не все конечно, но смотрите...
Ну, заодно и Вам отвечу, раз Вам жалко тех, на кого не поставят ДВЕ ссылки. А зачем? Пусть она будет одна, но качественная.
И еще. Когда я этот скрипт писал - то думал не о том, как кого-то обманывать, а как раз о том, чтобы упорядочить и облегчить контроль за обменом ссылками. И свидетельство этому есть еще одно. Сейчас я готовлю вторую версию скрипта, который будет проверять "качество" ссылок: т.е. не только само присутствие ссылки на странице партнера, а такие вещи, как тИЦ Яндекса, PR Google, количество ссылок со странице на другие сайты, наличие тэгов NOINDEX (в смысле, что Ваша ссылка в них), проверка запрета индексации страницы метатэгом ROBOTS и файлом robots.txt....
По Вашему я это делаю тоже для того, чтобы кого-то обманывать?
