Форум Не про работу Самое разное

Файл robots.txt под различные CMS

12
Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
3207

Друзья! :) У меня на сайте есть раздел, до которого просто не доходят руки — robots.txt под CMS.

Суть этого раздела — предоставить минимальные готовые решения под разные системы управления.

В этом топике я бы хотел, чтобы с вашей помощью этот раздел обрел жизнь :)

Бонус каждому — ссылка на ваш сайт или блог с соответствующей страницы тому, кто принял активное участие :idea:

https://atabekov.business
Redbaron _chaos
На сайте с 12.08.2009
Offline
673
Redbaron _chaos
#1

Ну для всех популярных CMS Роботсы найти не проблема, полно в нете (ДЛЕ, Вордпресс, Джумпла).

А вообще все равно приходится под себя делать, разные разделы и т.д.

Некоторые вообще ни чего не закрывают и все нормуль))

Вот есть у меня магазинчик, двиг: Шоп Скрипт Премиум

Ты можешь создать 100 разделов и в каждом разделе будет один и то же товар, но это не будет дублем, он так и будет идти: моймагазин.ру/телефон-верту.html

То есть 1 телефон можно за пару минут разместить во всех 100 разделах, а ссылка везде будет одна и та же.

То есть в этом двиге в Роботсе закрывать ничего не надо, по умолчанию. Только когда 2 телефона разного цвета, тогда да...1 телефон закрываешь..дублирование контента идет. И то, не обязательно.

Гемблинг, беттинг, крипта на весь мир в 3snet, 1500+ офферов. ( https://clck.ru/TdZLM ) = = CPA.HOUSE - Топовая CPA сеть ( https://clck.ru/34Swci )
Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#2
Redbaron_chaos:
Ну для всех популярных CMS Роботсы найти не проблема, полно в нете (ДЛЕ, Вордпресс, Джумпла)

Дык я гуглил ) Много типа нюансов :)

RO
На сайте с 25.10.2008
Offline
108
rws-omsk
#3

Минимальное решение под WP:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Минимальное решение под Joomla:

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Минимальное решение под AMIRO.CMS:

User-agent: *
Disallow: /admin
Disallow: /_admin/
Disallow: /members
Disallow: /search
Disallow: /subscribe
Disallow: /users
Disallow: /*offset=0
Disallow: /*forum_ext=
Disallow: /*_print_version=
Disallow: /*action=export_rss
Disallow: /*action=search
Disallow: /*action=view_posts
Disallow: /*display_form=

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Минимальное решение под HostCMS:

User-agent: *
Disallow: /404/
Disallow: /403/
Disallow: captcha.php
Disallow: download_file.php

Host: ваш сайт.ru
Sitemap: http://ваш сайт.ru/sitemap.xml

Под Dle советую следующее решение:

http://alaev.info/blog/post/3900

Минимальное решение под Modx:

User-agent: *
Disallow: /assets/cache/
Disallow: /assets/docs/
Disallow: /assets/export/
Disallow: /assets/import/
Disallow: /assets/modules/
Disallow: /assets/plugins/
Disallow: /assets/snippets/
Disallow: /install/
Disallow: /manager/

Host: имя сайта
Sitemap: http://имя сайта/sitemap.xml

Если сайт ГС:

User-agent: *
Disallow: /
Host: сайт.ру
BadBoy
На сайте с 31.01.2005
Offline
291
BadBoy
#4

Для ДЛЕ 


User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm
texter
На сайте с 06.01.2007
Offline
166
texter
#5

Для Даннео:

http://smixer.ru/robots.txt

Долго редактировался, но может быть частично не актуален при другой структуре сайта. По умолчанию для последней версии акутуален.

Эти строки индивидуальные, их можно исключить:

Disallow: /info/pushkin.html
Disallow: /info/about.html
Disallow: /info/text.html
anser06
На сайте с 11.03.2006
Offline
276
anser06
#6

Насчет Друпала я писал статьи о недостатках официального robots.txt, он не все закрывает:

Убираем дубликаты страниц Drupal из поисковиков

Robots.txt на mozg.by - работа над ошибками для Гены

Лично у меня на Друпале такой: http://www.afportal.ru/robots.txt

Ctulhu
На сайте с 21.05.2005
Offline
222
Ctulhu
#7

Ребята, спасибо огромное за комментарии. Все посмотрю и т.д. Валюсь с ног, голова не варит, выходные были бурные, гляну все на свежую голову )))

demon2005
На сайте с 06.02.2010
Offline
117
demon2005
#8
Redbaron_chaos:

А вообще все равно приходится под себя делать, разные разделы и т.д.

Именно. + под такие движки как joomla стандартные роботсы ниразу не оптимальны. Универсальное решение для таких движков в принципе можно составить, но оно будет с учетом лишь "стандартных" компонентов, я думаю.

Машины должны работать. Люди должны думать. (Девиз компании "IBM") Хостинг ( http://goo.gl/em6I5 ), рекомендую. Код на скидку 965VI5O60E Выгодно купить/продать сайт ( http://www.telderi.ru/?pid=c0fb22 )
nik_kent
На сайте с 05.02.2008
Offline
178
nik_kent
#9

Стандартное решение для 1С-Битрикс:

User-agent: *
Disallow: /*?
Disallow: /bitrix/
Disallow: /upload/
Host: site.ru

Sitemap: http://site.ru/sitemap.xml

:)

С уважением, Николай.
Sandro-xxx
На сайте с 17.08.2007
Offline
97
Sandro-xxx
#10

Может кто подскажет, как правильно сделать. Вообщем в магазине на Prestashop у меня идет дублирование страниц самого товара и он же, только в корзине. Ссылка в корзине имеет вид /order?ipa=118, order?ipa=119 и т.д.

как правильно прописать в роботсе закрытие вот таких вот страниц для индексации?

Disallow: /order?* или как то по другому?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий