Специалисты, не проверите ли robots.txt

alalat · 2010-12-19T15:19:07.0000000Z

Собственно сабж... Так, как я не особо понимаю тонкостей этого файла (да, читала, изучала, но доходит с трудом. конечно, я понимаю зачем он нужен, просто как его заполнить правильно соображаю плохо ), то на сайт залила, то что было предложено, только на свои данные сайта поменяла. Вот и хотела бы узнать у знающих людей, правильно ли составлен файл? User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /feed Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */feed Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads # Google Image User-agent: Googlebot-Image Disallow: Allow: /* # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /* # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: / # digg mirror User-agent: duggmirror Disallow: / User-agent: Yandex Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /*?* Disallow: /tag Crawl-delay: 5 Host: site.ru Sitemap: http://site.ru/sitemap.xml.gz Sitemap: http://site.ru/sitemap.xml Может что-то подправить надо? Заранее благодарю.

72

iguania

20 декабря 2010, 16:51

#21

kimberlit:
Ладно, с хостом разобрались. Вот это можешь объяснить, мусьё помощник:
Чем первая отличается от второй? Или вторая от первой...

И смысл этого:

Да, могу объяснить - у человека, задавшего вопрос переписал, а помог просто с тем, что структуру чуть подрихтовал, убрав лишние блоки (по моему мнению (оно может расходится (я и не претендую на правоту, просто пытаюсь помочь советом, пусть даже и неверным)))

Все всегда заканчивается хорошо. Если все закончилось плохо, значит, это еще не конец…

Google: как избежать переписывания Яндекс Директ обновил настройки Поиск Яндекса обучает Рекламную

134

NBSerG

20 декабря 2010, 16:54

#22

а как сделать запрет русской директории

вот у меня к примеру..

я в роботсе прописал

Disallow: /forum/1-Сайт

Disallow: /forum/3-Раздел-предложений

залил на серв открываю яндекс вебмастер захожу в роботс и вижу

Disallow: /forum/1-яЮИР

Disallow: /forum/3-пЮГДЕК-ОПЕДКНФЕМХИ

Изготовление сайтов на Joomla (/ru/forum/726795) Такие деньги можно заработать только здесь!!! (http://goo.gl/k1oTJ) Выиграй Porsche Cayenne! (http://goo.gl/RqHaU)

Яндекс внес изменения в Мэтт Каттс попросил вебмастеров Новые стандарты для директивы

205

Цахес

20 декабря 2010, 21:42

#23

SeoNizator:
выше я уже приводил цитату из этой "справки для чайников", где указано чего нельзя отделять. Хоста там нет. А значит - можно (какой бы хреновой логикой кому-то это не казалось ;) ). Или же точно нельзя, не будет учитываться? Где об этом что-то сказано?

В том же документе который вы цитировали. Немного ниже. Вам Kost даже ссылку дал, а вы всё туда же. 🚬

Важно: в целях совместимости с роботами, которые не полностью следуют стандарту при обработке robots.txt, директиву 'Host' необходимо добавлять в группе, начинающейся с записи 'User-Agent', непосредственно после директив 'Disallow'('Allow').

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

В 2023 году 36,9% всех DDoS-атак пришлось на сферу финансов

Все что нужно знать о DDоS-атаках грамотному менеджеру