- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть ВП 2.5.1 установленный в основной каталог.
Какой robots.txt надо создать для нормальной индексации поисковиками?
Насколько Я понимаю структура папок у ВП стандартная, занчит и решение стандартно? Или Я чего-то не понимаю?
Какой robots.txt надо создать для нормальной индексации поисковиками?
User-agent: *
Disallow:
Всем ПС разрешено полностью индексировать сайт. ;)
Спасибо. Юмор оценил.
Задам более конкретный вопрос.
Нужно ли запрещать к индексации папки wp-content, wp-admin, wp-includes или они и так не будут проиндексированы?
И какие параметры нужно еще прописывать в роботс.тхт. Хотя бы направление куда копать обозначьте. Пожалуйста :)
И надо ли прописывать директивы SiteMap? Это имеет смысл?
Спасибо. Юмор оценил.
Задам более конкретный вопрос.
Нужно ли запрещать к индексации папки wp-content, wp-admin, wp-includes или они и так не будут проиндексированы?
И какие параметры нужно еще прописывать в роботс.тхт. Хотя бы направление куда копать обозначьте. Пожалуйста :)
И надо ли прописывать директивы SiteMap? Это имеет смысл?
У меня вот так
User-agent: *
Disallow: /wp-admin.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /index.php?s=
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: /feed
Disallow: /comments
Disallow: */trackback
Disallow: */comments
Host: мой.сайт
Убираем дубль контента и прочее
Disallow: /page/
Disallow: /category/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Можно и круче
Disallow: /*/feed/$
Disallow: /feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /category/*/$
Disallow: /page/*/$
Disallow: /tag/*/$
Disallow: /stat-pages/*$
Disallow: /index.php?*$
Disallow: /*/wp-*.php$
User-agent: *
Disallow: /page/
Disallow: /category/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /cgi-bin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
А в общем, каждый выбирается и настраивает под себя.
Под свои цели и задачи.
У основателей все проще
http://wordpress.com/robots.txt
User-agent: IRLbot
Crawl-delay: 3600
User-agent: *
Disallow: /next/
User-agent: *
Disallow:
http://wordpress.org/robots.txt
Disallow: /search
Disallow: /support/rss
2 Wrecks:
Спасибо. Осмелюсь задать пару вопросов по твоему листингу.
Host: мой.сайт - означает ли это, что у Твоего сайта есть зеркало и Ты просто указываешь главное. Или такое прописывание даже при отсутствии зеркала является правильным?
Disallow: /wp-login.php - надо ли также заблокировать wp-config.php?
Disallow: /index.php?s= - это как?
Сейчас читаю описание robot.txt, но вопросы остаются :)
Disallow: /index.php?s= - это как?
это поиск
10 штук