Уважаемые форумчане разъясните следующую ситуацию, кто знает: Заметил недавно что сайт выходит в поисковиках без описания страницы, т.е yandex выдаёт адрес сайта и внизу надпись найден по ссылке, гугл пишет описание страницы недоступно из-за проблем с файлом robots.txt.
Покопавшись немного в корневых папках сайта нашел сей файл где было следующее содержание:
User-Agent: *
Disallow: / (где символ / я так понимаю запрещал полную индексацию сайта)
Вопрос как он там появился, это глюк или..? Сайт работает на базе MODX.
Правильное ли это содержание? Хотелось бы более грамотно составить robots.txt но не хватает знаний. Посоветуйте варианты пожалуйста кому не сложно. Хотел бы создать файл что бы в в первом пункте было обращение ко всем поисковым роботам а во втором конкретно к яндексу.
Уважаемые форумчане разъясните следующую ситуацию, кто знает: Заметил недавно что сайт выходит в поисковиках без описания страницы, т.е yandex выдаёт адрес сайта и внизу надпись найден по ссылке, гугл пишет описание страницы недоступно из-за проблем с файлом robots.txt.
Покопавшись немного в корневых папках сайта нашел сей файл где было следующее содержание:
User-Agent: *
Disallow: / (где символ / я так понимаю запрещал полную индексацию сайта)
Вопрос как он там появился, это глюк или..? Сайт работает на базе MODX.
Сейчас файл robots.txt выглядит так
User-Agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: www.мой сайт.ru
Правильное ли это содержание? Хотелось бы более грамотно составить robots.txt но не хватает знаний. Посоветуйте варианты пожалуйста кому не сложно. Хотел бы создать файл что бы в в первом пункте было обращение ко всем поисковым роботам а во втором конкретно к яндексу.