имхо необдуманный риск иногда щедро вознаграждается 🚬
Просмотрите еще раз мой пост с кодом, там позже вносились правки. ;)
Моя версия такая, инфа у него устарела сразу после индекса.🚬
Глянь и исправил конструкцию.
Именно в Я работает на ура🚬
У меня лично на одном из сайтов работает такая конструкция
<meta content="-1" http-equiv="Expires">
Я уже вчера вечером написал админу письмо, с вопросом о Галерее для Freem, обещали ответить в течении 2 часов, уже прошло 18 пока ответа не последовало, ждемс.
Это образное выражение. За таким себе "ИЦ СЕОшника", раскручивать себя как специалиста, ну хотя бы за этим в очередь, а что не повод?
Извиняюсь за свой комент на вопрос что дальше,
В недалеком будущем глобализация всех разрозненных сайтов в один или несколько информационных ресурса и процессов иже с ними, останутся только сайты-визитки и то в одном интернет-каталоге-визитнице.
Так что теперь нужно больше прятаться со своими технологиями продвижения, и не обсуждать их вовсе на форуме, а потом со своими достижениями выстроится в очередь соскателей работы, в надежде получить на обслугу кластер от большого пирога.
Выходит вот такая конструкция:
User-Agent: StackRambler Disallow: /403.shtml Disallow: /404.shtml Disallow: /500.shtml Disallow: /cgi-bin/ User-agent: Yandex # секция для Яндекса если всеж нужно указать основное зеркало Disallow: /403.shtml Disallow: /404.shtml Disallow: /500.shtml Host: ww.site.ru User-Agent: * Disallow: /403.shtml Disallow: /404.shtml Disallow: /500.shtml
И всеж, хоть я и не прав был с отдельными файлами, мне лично такая конструкция не нравится, я бы вынес в отдельную директорию.
Есть на нашем форуме такой подфорум Каталоги сайта там много чо есть, может ответ найдешь там, удачи.
Спецификация не предусматривает закрытие конкретных файлов, а только директорий. Поэтому предлагаю создать онную, типа ErrorDocument и туда забросить все страницы ошибок, в этом случае роботс выглядит так:
User-agent: StackRambler Disallow: /cgi-bin Disallow: /ErrorDocument Host: ww.site.ru User-Agent: * Disallow: /ErrorDocument
