проверил свою простыню в goggle webmaster tools , пишет-
Разрешено
Распознается в качестве каталога; у некоторых файлов могут быть другие ограничения
вроде обработался---------- Post added 21-11-2013 at 03:42 ----------
спасибо за детали!
собственно сайтмэп создается для борьбы с дублями, достаточно ли пока закрыть их(свои дубли знаю) например Disallow: /site.com/duble1
и убрать предыдущий список с фтп кроме cgi-bin,чтоб не создать проблем, тк вопрос какие из них не нужны для меня пока открыт
имелось ввиду какой смысл в отдельных директивах для роботов яндекса или гугла , если можно
сразу User-agent: * для любых или здесь какой то подвох? может влияет на индексацию или что ещё?---------- Post added 21-11-2013 at 02:55 ----------
зачем favicon или зачем запрещать?
я выписал всё содержимое с фтп для совета, что оставить , так понимаю что favicon.ico вычеркиваем из списка
про скрипт не знаю, но вот сайт определяет источники картинки
по урлу или фото
там же есть плагин для разных броузеров
инджой🍾
