- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Собственно сабж...
Так, как я не особо понимаю тонкостей этого файла (да, читала, изучала, но доходит с трудом. конечно, я понимаю зачем он нужен, просто как его заполнить правильно соображаю плохо), то на сайт залила, то что было предложено, только на свои данные сайта поменяла.
Вот и хотела бы узнать у знающих людей, правильно ли составлен файл?
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: /category/*/*
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /*?*
Disallow: /*?
Allow: /wp-content/uploads
# Google Image
User-agent: Googlebot-Image
Disallow:
Allow: /*
# Google AdSense
User-agent: Mediapartners-Google*
Disallow:
Allow: /*
# Internet Archiver Wayback Machine
User-agent: ia_archiver
Disallow: /
# digg mirror
User-agent: duggmirror
Disallow: /
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Crawl-delay: 5
Host: site.ru
Sitemap: http://site.ru/sitemap.xml.gz
Sitemap: http://site.ru/sitemap.xml
Может что-то подправить надо? Заранее благодарю.
сайтмап после юзер агента
хост в конце
сайтмап после юзер агента
хост в конце
а это критично? порядок, что, где, за чем следует очень важен?
а это критично? порядок, что, где, за чем следует очень важен?
Да. Роботы обрабатывают файл по-строчно.
И каждый робот читает общую секцию - * (все, кроме яндекса) и только свою. Не найдя свой секции - прекращает чтение.
В Вашем случае вы только яндексу показали, Host и Sitemap.
Доступ\запрет к интересующим страницам сайта Вы можете проверить тут, например.
Может что-то подправить надо?
Отсутствие параметров у директивы трактуется следующим образом:
Disallow: # тоже что и Allow: /
User-agent: Yandex
Allow: # тоже что и Disallow: /
Disallow: /*?*
Disallow: /*?
По умолчанию к концу каждого правила, описанного в robots.txt, приписывается '*'.
Да. Роботы обрабатывают файл по-строчно.
И каждый робот читает общую секцию - * (все, кроме яндекса) и только свою. Не найдя свой секции - прекращает чтение.
В Вашем случае вы только яндексу показали, Host и Sitemap.
Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?
Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?
Пустой перевод строки после директивы "Crawl-delay" ни к чему.
Так, куда точно (между чем и чем) надо поставить host: site.ru и sitmap , чтобы сайт видел и яндекс и гугл?
В секции для тех роботов, кому вы хотите показать.
В вашем случае - и * и яндексу.
Советую посмотреть этот файл на других ВП-шных сайтах. Конечно, не со всех надо брать пример (и даже не с большинства), но.. (все ответы в выдаче. Только тссс - никому) ;)
Пустой перевод строки после директивы "Crawl-delay" ни к чему.
Но он ни на что и не влияет.
Но он ни на что и не влияет.
Ага, просто следующая директива (Host) не попадет в блок Яндекса, а так ничего :).
Но он ни на что и не влияет.
Host вне какой-либо секции работает?
Ага, просто следующая директива (Host) не попадет в блок Яндекса, а так ничего
Host вне какой-либо секции работает?
а разве он вне секции? ;)
Пустая строка ведь не говорит о том, что секция закончилась. Или я не прав (в аглицком не силён)?
UPD.
Да и яндекс тоже говорит:
Т.е. между остальными директивами - допускается.