promobroker: в яндексе наберите имя_вашего_сайта.ru (метод не 100%)
если сайта нету, то Вам с супорт яндекса
если есть, то Вам стоит задуматься о его продвижении )
А не проще ли все это смотреть через веб-мастер яндекса или через форму проверить сайт?
lap09: А чего показать-то? Сожержание сайта robots.txt? Это WordPress, там плагин.
Вот чего там написано.
# BEGIN XML-SITEMAP-PLUGIN
Sitemap://***.ru/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
И кстати, можно еще вопрос: User-agent - это все-таки обязательная строчка?
Обязательная.
Почитайте вот это для развития и понимания работы.
в яндексе наберите имя_вашего_сайта.ru (метод не 100%)
если сайта нету, то Вам с супорт яндекса
если есть, то Вам стоит задуматься о его продвижении )
А не проще ли все это смотреть через веб-мастер яндекса или через форму проверить сайт?
nik_kent, просто вам совет: если делаете блок для какой-то ПС, то надо указать что это для такой-то ПС.
А в последнем блоке сделать для всех оставшихся ПС.
lap09, попробуйте так сделать:
User-agent: Yandex
Disallow:
Host: www.site.ru
User-agent: Googlebot
Disallow:
Sitemap: http://site.ru/sitemap.xml.gz
User-agent: *
Disallow:
И потом проверьте как происходит анализ всего этого на гугл вебмастере.
пути к различным библиотекам и скриптам, которые я запретил индексировать
А вы думаете их без этого не найдут?
А чего показать-то? Сожержание сайта robots.txt? Это WordPress, там плагин.
Вот чего там написано.
# BEGIN XML-SITEMAP-PLUGIN
Sitemap://***.ru/sitemap.xml.gz
# END XML-SITEMAP-PLUGIN
lap09, Покажите что написано в файле robots.txt.
Ответ простой до невозможности: при разумном подходе - не повредит
И даже может помочь. ;) При грамотном подходе. :)
Хочу спрятать файл robots.txt от посетителей - зачем злобным хакерам давать наводку?
А что такого умного хакеры-посетители могут увидеть у вас в robots.txt?
+ желательно все проверить на вирусники, как сам сайт, так и комп.
Тут первый вопрос - а зачем они вам?
Ну естественно для тупого заспамливания.