- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Доброго времени суток. Создал сайт, но перед загрузкой на хостинг заметил что robots.txt отсутствует. Какой Robots.txt нужен для вордпресса? Хочу закрыть все папки плагинов и дубли, а вот на страницы наоборот доступ открыть.
Что самое интересное сильно вводят в заблуждение многие блоггеры с сайтами с посещением от уникальных 500 от 1000 посетителей в сутки. То есть те, кто уже знает что и как. Один утверждает что Disallow: /*?* это закрывает полностью от индексации ВСЕ страницы и он может быть причиной того что загружена и в поиске только одна страница, а другие говорят что он закрывает только дубли с этим вопросительным знаком. Кто врет, и почему вообще мнения так расходятся?
Вот роботс:
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/
Host: сайт.com
Sitemap: http://сайт.com/sitemap.xml.gz
Sitemap: http://сайт.com/sitemap.xml
Хотелось бы узнать, есть ли здесь запрет, который лучше убрать? Сайт информационный, и мне необходимо только чтобы индексировались страницы со статьями и изображениями.
Спасибо.
У меня вот такой
User-agent: *
Disallow: /cgi-bin
Disallow: /page
Disallow: /tag
Disallow: /author
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /comments
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /search/
Disallow: /xmlrpc.php?rsd
Host: мой сайт
Disallow: /page это по надобности. Если не пишете страницами, а постами, то имеет смысл закрыть, так как у Вордпресса много навигационных странниц вида мойсайт/page/номер/. Хотя, этот вопрос спорный, но для СДЛ я такое использую. Такой роботс стоит на сайтах от 10 000 уников и выше, и стоит более 4 лет и все нормально.
Sitemap добвляю в панели вебмастера, в роботсе не использую
У меня вот такой
User-agent: *
Disallow: /cgi-bin
Disallow: /page
Disallow: /tag
Disallow: /author
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /comments
Disallow: /trackback
Disallow: /feed
Disallow: */trackback
Disallow: */feed
Disallow: */comments
Disallow: /?s=
Disallow: /search/
Disallow: /xmlrpc.php?rsd
Host: мой сайт
Disallow: /page это по надобности. Если не пишете страницами, а постами, то имеет смысл закрыть, так как у Вордпресса много навигационных странниц вида мойсайт/page/номер/. Хотя, этот вопрос спорный, но для СДЛ я такое использую. Такой роботс стоит на сайтах от 10 000 уников и выше, и стоит более 4 лет и все нормально.
Sitemap добвляю в панели вебмастера, в роботсе не использую
Я вот смотрю раздел comments тоже закрыт. Обязательно ли?
Если тэги забиты руками и в небольшом количестве то необязательно их закрывать. Недавно открыл тэги в robots.txt (их около 40) переходы с гугла выросли раза в полтора.
comments генерирует свою страницу с префиксом #comment-. Она полный дубль страницы основного поста. А о дублированных страницах уже не раз здесь писали, что это зло.
Disallow: /page
Disallow: /tag
Это на усмотрение, кому как удобно. Остальное вроде как по мне нужное дело.
Один утверждает что Disallow: /*?* это закрывает полностью от индексации ВСЕ страницы и он может быть причиной того что загружена и в поиске только одна страница, а другие говорят что он закрывает только дубли с этим вопросительным знаком. Кто врет, и почему вообще мнения так расходятся?
Это тайна за семью печатями. Никогда не читай первоисточники от поисковиков, продолжай читать говноблоги.
Yandex
Google
...
comments генерирует свою страницу с префиксом #comment-. Она полный дубль страницы основного поста. А о дублированных страницах уже не раз здесь писали, что это зло.
Disallow: /page
Disallow: /tag
Это на усмотрение, кому как удобно. Остальное вроде как по мне нужное дело.
Почему то меня немного настораживает закрытие Page. Тогда как закрыть все остальные страницы от индексации? Уже и не знаю что делать. Запутался. 😒
comments генерирует свою страницу с префиксом #comment-. Она полный дубль страницы основного поста. А о дублированных страницах уже не раз здесь писали, что это зло.
Disallow: /page
Disallow: /tag
Это на усмотрение, кому как удобно. Остальное вроде как по мне нужное дело.
А закрыв comments, получается робот не будет видеть посты???? На сайте новости а под ними посты. Так я сделал.
А закрыв comments, получается робот не будет видеть посты???? На сайте новости а под ними посты. Так я сделал.
Что сделал? Закрыл полстраницы с помощью роботс? Молодец.
Зы. И не читай пост №6. Забей.
Зы 2. И свои урл не показывай, а то помогут...
Моя запись в роботс выглядет следующим образом (вырезка):
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /*?*
Ссылки типа ?s= закрывают в том случае, если реально на сайте ссылки выглядят так: http://name.ru/index/ то есть использовался плагин ЧПУ. В этом страница становится доступной по новому адресу http://name.ru/index/ и по старому ?s= получается дубль.
Что сделал? Закрыл полстраницы с помощью роботс? Молодец.
Зы. И не читай пост №6. Забей.
Зы 2. И свои урл не показывай, а то помогут...
Нет, я имею ввиду что сделал на сайте такую структуру: Новость а далее обсуждение.
---------- Добавлено 24.12.2012 в 21:02 ----------
Моя запись в роботс выглядет следующим образом (вырезка):
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /wp-comments
Disallow: /wp-content/cache
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */feed
Disallow: */*/feed/*/
Disallow: /cgi-bin
Disallow: *?s=
Disallow: /*?*
Ссылки типа ?s= закрывают в том случае, если реально на сайте ссылки выглядят так: http://name.ru/index/ то есть использовался плагин ЧПУ. В этом страница становится доступной по новому адресу http://name.ru/index/ и по старому ?s= получается дубль.
Я правильно понял, если у меня вид в адресной строке ЧПУ то вот эти две строчки Disallow: *?s=
Disallow: /*?* не нужно вписывать???