Как и любой другой обычный текстовый файл. Просто у него название интересное, не более того.
Другое дело, что нужно еще знать, что в нем прописать?!
Создайте файл robots.txt
с директивами:
User-agent: Yandex HOST: ваш_домен.ру
Уверен, если вам ничего больше ненужно, то и не заморачивайтесь.
Проверить свой роботс можете здесь: http://www.yandex.ru/cgi-bin/test-robots
Я сначала, именно как вы и хотел написать (казалось, что так логичнее и оптимальнее ;), а роботы считают иначе), но получше изучил спорный момент и все стало понятно. Я уже писал этот пункт, повторю для Вас еще разок:
Кстати, вроде тоже корректно и должно быть правильно:
1. В одной секции указываем для всех роботов общие инструкции
2. В дополнительной секции для яшки указываем его дополнительную инструкцию HOST (ибо её ввёл и понимает только яшка: http://webmaster.yandex.ru/faq.xml?id=996583).
User-agent: *
Disallow: /catalog
User-agent: Yandex
Host: moyhost.ru
http://www.rambler.ru/doc/robots.shtml
1. Источник с которого переносили, наверняка же остался.
2. Залейте phpMyAdmin и подключитесь к базе данных (только аккуратно, не убейте что-нибудь нужное). По играйте с кодировками. Обычно самый простой способ, залить дамп заново, например, с помощью phpMyAdmin, но с правильно выбранной кодировкой.
Если не справитесь, то хоть покажите пациента. Может более правильные выводы можно будет сделать.
Может кто-то просто корявый парсер написал ;)
Вот это действительно были бы настощие отзывы, если после размещения пользователи услугой отписывали бы, как повлияло размещение статей на этих сайтах на позиции ваших? положительно, отрицательно или без изменений ;). Как дела с проверкой на непот и т.п.
ДолжОн быть! http://ru.wikipedia.org/wiki/User_Agent
Только нужно не забыть нажать кнопу "АП" в яшке. А то похоже они там уснули. Вот уже дней 9 уже АПа серьезного нет (http://analyzethis.ru/?analyzer=update - я уж подумал анализатор сломался ;) ).
И как в таких условиях стабильности выдачи за 1 день сайт в топ вывести? ;)
Если только под фильтр попадут все сайты, что выше продвигаемого?! ;)
1. Пришлите содержимое .htaccess
2. Я сам движок не копал, но по смыслу существует вероятность, что нужно будет покапаться в коде движка. (тогда дайте еще и адрес откуда можно скачать вашу версию движка)