Уважаемые форумчане разъясните следующую ситуацию, кто знает: Заметил недавно что сайт выходит в поисковиках без описания страницы, т.е yandex выдаёт адрес сайта и внизу надпись найден по ссылке, гугл пишет описание страницы недоступно из-за проблем с файлом robots.txt.
Покопавшись немного в корневых папках сайта нашел сей файл где было следующее содержание:
User-Agent: *
Disallow: / (где символ / я так понимаю запрещал полную индексацию сайта)
Вопрос как он там появился, это глюк или..? Сайт работает на базе MODX.
Сейчас файл robots.txt выглядит так
Disallow:
User-agent: Yandex
Host: www.мой сайт.ru
Правильное ли это содержание? Хотелось бы более грамотно составить robots.txt но не хватает знаний. Посоветуйте варианты пожалуйста кому не сложно. Хотел бы создать файл что бы в в первом пункте было обращение ко всем поисковым роботам а во втором конкретно к яндексу.
