миллионный вопрос по robots

PL
На сайте с 27.07.2011
Offline
72
870

не буду особо оригинален, задам очердной вопрос про роботс, что-то не могу никак вкурить, даже прочитав массу мануала.

Раньше не работал с джумлой ни разу, а как зялся вчера - чуть не упал, сколько всякого добра она генерирует,.

ну так вот, подскажите, как заурыть массово от индексации подобные страницы, чтобы их родители остались в покое?

" бла.html?tmpl=component&print=1&page= "

" бла/detail/32-1.html?tmpl=component "

т.е. скажем - закрыть все страницы в которых в урл есть слово component ?,

или что-то другое стоит закрыть?

в данный момент роботс таков:

Allow: /index.php?option=com_xmap&sitemap=1&view=xml
Disallow: /administrator/
Disallow: /cache/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Disallow: /xmlrpc/
Disallow: /index2.php?option=com_content&task=emailform
Disallow: /*?
Disallow: /*%
Disallow: /*?sl*
Disallow: /name.php?action=print
Disallow: /trackback
Disallow: /*rss.html
Disallow: /*atom.html
Crawl-delay: 2

попрошу не кидаться слюнями со словами - "да это сто раз рассмотрено" и все такое, лучше по делу) все-таки тема форума, где расположен пост говорит о том, что здесь должны помочь, а не послать.

Спасибо.

Еще вопрос,

если у меня главная страница отображается аж по 3-м ссылкам:

сайт.ру/

сайт.ру/index.php

сайт.ру/home.html

что делать?, - это чисто джумла... 1/5

лучше больше и лучше
anebilitsa
На сайте с 07.02.2012
Offline
167
#1
pr-light:

бла.html?tmpl=component&print=1&page=
бла/detail/32-1.html?tmpl=component


Спасибо.

Вы хотя бы в кавычки обрамляйте урлы. А то не понятно где он начинается, где заканчивается.

Если хотите закрыть все страницы дальше "component" необходимо задать команду: Dissalow: /component*/

Отличный облачный майнинг (https://hashflare.io/r/D9BC3BC7) Аудит и продвижение сайтов (/ru/forum/935103) | Сервис для снятия позиций сайта (http://allpositions.ru/redirect/28240)
PL
На сайте с 27.07.2011
Offline
72
#2

хочу закрыть все урлы содержащие в себе "component"

Вы хотя бы в кавычки обрамляйте урлы.

исправил

anebilitsa
На сайте с 07.02.2012
Offline
167
#3
pr-light:


Еще вопрос,
если у меня главная страница отображается аж по 3-м ссылкам:
сайт.ру/
сайт.ру/index.php
сайт.ру/home.html

что делать?, - это чисто джумла... 1/5

Если все три страницы в индексе, тогда поставить 301 редирект с двух последних на первую.

Если нет, тогда просто закрыть их в роботсе.

PL
На сайте с 27.07.2011
Offline
72
#4
anebilitsa:
Если все три страницы в индексе, тогда поставить 301 редирект с двух последних на первую.
Если нет, тогда просто закрыть их в роботсе.

вот пишу:

Redirect 301 /home.html http://www.сайт.ru/

Redirect 301 /index.php http://www.сайт.ru/

содержание .htaccess такое:

RewriteEngine   on

RewriteCond %{HTTP_HOST} ^сайт\.ru$ [NC]
RewriteRule ^(.*)$ http://www.сайт.ru/$1 [R=301,L]

RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} !^/index.php
RewriteCond %{REQUEST_URI} (/|\.php|\.html|\.htm|\.feed|\.pdf|\.raw|/[^.]*)$ [NC]
RewriteRule (.*) index.php
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization},L]


Redirect 301 /home.html http://www.сайт.ru/
Redirect 301 /index.php http://www.сайт.ru/

пишет: направильный редирект 8(

anebilitsa
На сайте с 07.02.2012
Offline
167
#5
pr-light:

пишет: направильный редирект 8(

попробуйте редиректить на "/" а не писать весь домен.

siv1987
На сайте с 02.04.2009
Offline
427
#6

ну так вот, подскажите, как заурыть массово от индексации подобные страницы, чтобы их родители остались в покое?
" бла.html?tmpl=component&print=1&page= "
" бла/detail/32-1.html?tmpl=component "

Disallow: /*?tmpl=component

Disallow: /*;print=1

PL
На сайте с 27.07.2011
Offline
72
#7
anebilitsa:
попробуйте редиректить на "/" а не писать весь домен.

все равно выдает 500 ошибку (

---------- Добавлено 20.07.2012 в 13:28 ----------

siv1987:
Disallow: /*?tmpl=component
Disallow: /*;print=1

спасибо!

а вот такой Disallow: /*? не будет закрывть все подобные /*?tmpl=component ???

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий