- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот собственно мой:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
User-agent: Yandex
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Clean-param: font-size&view&limit&month&year&cat_id&fuck&FontSize
Crawl-delay: 0.5
Host: www.bma.ua
Sitemap: http://bma.ua/index.php?option=com_xmap&sitemap=1&view=xml
в яндексе захожу в анализ robots.txt и неполучается загрузить его, хз мож че нетак, подскажите и вообще норм роботс у меня, мож еще че добавить
1. А Sitemap по нормальному нельзя было загрузить? bma.ua/sitemap.xml в корень сайта
2. На мой взгляд очень громоздкий.
3. Зачем Яндексу отдельную директиву дали, если итак все повторяется.
4. Вы пишете в хосте www. а в sitemap без www. Вы уж определитесь что у Вас главное зеркало.
P.S. Краткость - сестра таланта. Если можете не нагромождать лишнего - не надо.
Вы скорей всего хотите, чтоб ваш сайт учавствовал в поиске по картинкам, поэтому перед
Добавьте
Disallow: /images/
А что делают эти команды?
Crawl-delay: 0.5
ну тогда так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Allow: /images/stories
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Clean-param: font-size&view&limit&month&year&cat_id&fuck&FontSize
Crawl-delay: 0.5
Host: bma.ua
Sitemap: http://bma.ua/index.php?option=com_xmap&sitemap=1&view=xml
по поводу Sitemap, как перекинуть его в bma.ua/sitemap.xml
А,ЧПУ на сайте чем управляется? Родное или стороннее расширение?
Clean-param: font-size&view&limit&month&year&cat_id&fuck&FontSize
Crawl-delay: 0.5
Что делают эти строки? мне тоже интересно
Что делают эти строки? мне тоже интересно
http://help.yandex.ru/webmaster/?id=996567 - ну хоть раз можно прочитать целиком...
Директива Crawl-delay.
Директива Crawl-delay.
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Директива Clean-param.
Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
Директива Crawl-delay
Если сервер сильно нагружен и не успевает отрабатывать запросы на закачку, воспользуйтесь директивой "Crawl-delay". Она позволяет задать поисковому роботу минимальный период времени (в секундах) между концом закачки одной страницы и началом закачки следующей. В целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву "Crawl-delay" необходимо добавлять в группе, начинающейся с записи "User-Agent", непосредственно после директив "Disallow" ("Allow").
Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.
Директива Clean-param
Если адреса страниц вашего сайта содержат динамические параметры которые не влияют на их содержимое (например: идентификаторы сессий, пользователей, рефереров и т.п.), вы можете описать их при помощи директивы 'Clean-param'. Робот Яндекса, используя эту информацию, не будет многократно перезакачивать дублирующуюся информацию. Таким образом, увеличится эффективность обхода вашего сайта, снизится нагрузка на сервер.
8e3yn4ik добавил 11.11.2010 в 18:12
А,ЧПУ на сайте чем управляется? Родное или стороннее расширение?
а более подробнее че это и де посмотреть?)
ну тогда так:
User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Allow: /images/stories
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Clean-param: font-size&view&limit&month&year&cat_id&fuck&FontSize
Crawl-delay: 0.5
Host: bma.ua
Sitemap: http://bma.ua/index.php?option=com_xmap&sitemap=1&view=xml
по поводу Sitemap, как перекинуть его в bma.ua/sitemap.xml
Загрузите в корень сайта через ftp.
Куда уж Вам robots.txt изучать, если Вы не знаете как файл на сервер залить.
как заливать знаю. Тотал командер есть... незнаю где файл sitemap.xml находится)))
в яндексе захожу в анализ robots.txt и неполучается загрузить его, хз мож че нетак, подскажите и вообще норм роботс у меня, мож еще че добавить
попробуйте другой браузер, перед этим проверьте грузится ли в ваш браузер и работает ли хостинг. Так же файл\страница может отдаваться за запрос, но код ответа отличен от http 200, в моём случае было http 500/ Хотя страницы прорисовывались. А иначе вам с апорт яши.