masterfunk: Host: site.com
отработает только в яндексе, в гугле это может вызвать ошибку и robots.txt не обработается
проверил свою простыню в goggle webmaster tools , пишет-
Разрешено
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения
вроде обработался
---------- Post added 21-11-2013 at 03:42 ----------
Ripro:
2. Не нужно закрывать все, что есть на фтп - иконки, скрипты, стили (.ico, .css, .js). Иконка favicon.ico, например, выводится в результатах поиска в Яндексе.
Нужно запрещать страницы, которые генерирует движок и которые не нужно отправлять в индекс, включая страницы регистраций, напоминания пароля и т.п.
Т.е. нужно четко понимать что запрещать, а что нет, как запрещать и для чего.
спасибо за детали!
собственно сайтмэп создается для борьбы с дублями, достаточно ли пока закрыть их(свои дубли знаю) например Disallow: /site.com/duble1
и убрать предыдущий список с фтп кроме cgi-bin,чтоб не создать проблем, тк вопрос какие из них не нужны для меня пока открыт
Host: site.com
отработает только в яндексе, в гугле это может вызвать ошибку и robots.txt не обработается
проверил свою простыню в goggle webmaster tools , пишет-
Разрешено
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения
вроде обработался
---------- Post added 21-11-2013 at 03:42 ----------
2. Не нужно закрывать все, что есть на фтп - иконки, скрипты, стили (.ico, .css, .js). Иконка favicon.ico, например, выводится в результатах поиска в Яндексе.
Нужно запрещать страницы, которые генерирует движок и которые не нужно отправлять в индекс, включая страницы регистраций, напоминания пароля и т.п.
Т.е. нужно четко понимать что запрещать, а что нет, как запрещать и для чего.
спасибо за детали!
собственно сайтмэп создается для борьбы с дублями, достаточно ли пока закрыть их(свои дубли знаю) например Disallow: /site.com/duble1
и убрать предыдущий список с фтп кроме cgi-bin,чтоб не создать проблем, тк вопрос какие из них не нужны для меня пока открыт
1) правила написанные под ним будут восприниматься всеми роботами
имелось ввиду какой смысл в отдельных директивах для роботов яндекса или гугла , если можно
сразу User-agent: * для любых или здесь какой то подвох? может влияет на индексацию или что ещё?
---------- Post added 21-11-2013 at 02:55 ----------
Disallow: /favicon.ico А это зачем?
зачем favicon или зачем запрещать?
я выписал всё содержимое с фтп для совета, что оставить , так понимаю что favicon.ico вычеркиваем из списка
про скрипт не знаю, но вот сайт определяет источники картинки
по урлу или фото
там же есть плагин для разных броузеров
инджой🍾