Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt, вопрос

CH
На сайте с 01.03.2011
Offline
45
CaH4oO
1116

Намудрил с роботс.txt Сайт на джумле, хотел закрыть дубли от индексации, в итоге похоже закрыл все страницы кроме главной. Где ошибки в последних двух строчках?

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Disallow: /xmlrpc/

Disallow: /index.php?option=com_content&view=frontpage

Disallow: /index.php

[Удален]
#1

добавь в вебмастер яндекса и проверь какие страницы недоступны для робота.

и були так не закрыть. они все равно будут. поставь, к примеру, компонент sh404sef, и ЧПУ настроишь и дубли удасться победить.

CH
На сайте с 01.03.2011
Offline
45
CaH4oO
#2

да это понятно. но непонятен момент. Закрывая к примеру

index.php почему закрываются все переменные вида index.php?value1=1 и т.д.?

каким образом прописать роботс, так что бы был закрыт только index.php к примеру.

Сайт был в индекс страниц 40, как только я закрыл index.php. Получил в индексе только адрес домена.

Стратегии верификации от Google Google закрыл доступ к Google закрыл ряд вертикальных
[Удален]
#3

странно. мож это не из-за robots.txt

CaH4oO:
index.php почему закрываются все переменные вида index.php?value1=1 и т.д.?

по идее для того чтобы так закрыть надо прописать

Disallow: /index.php*

K
На сайте с 31.01.2001
Offline
737
Kost
#4
CaH4oO:
каким образом прописать роботс, так что бы был закрыт только index.php к примеру.

Disallow: /index.php$

ANDARK:
по идее для того чтобы так закрыть надо прописать
Disallow: /index.php*

Это то же самое, что

Disallow: /index.php

никакой разницы.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
igrinov
На сайте с 09.01.2009
Offline
134
igrinov
#5
CaH4oO:
каким образом прописать роботс, так что бы был закрыт только index.php к примеру

вот посмотрите http://help.yandex.ru/webmaster/?id=996567#996572

надо прописать

Disallow: /index.php$
Персональный VPN/Socks сервер (https://cp.inferno.name/aff.php?aff=2419)
nik2019
На сайте с 28.04.2009
Offline
182
nik2019
#6

в joomla при плагине joomsef artio - есть дубли страниц... вот такого вида.

sait.ru/?p=174 - как закрыть этот тэг правильно, чтобы не индексировалось с этим ?p -?

Disallow: /?p=* - так?

Многодарю
K
На сайте с 31.01.2001
Offline
737
Kost
#7

Не надо писать звездочку на конце, она там и так подразумевается.

nik2019
На сайте с 28.04.2009
Offline
182
nik2019
#8
Kost:
Не надо писать звездочку на конце, она там и так подразумевается.

спасибо большое!

CH
На сайте с 01.03.2011
Offline
45
CaH4oO
#9

Спасибо большое!

master_jeday
На сайте с 15.05.2010
Offline
231
master_jeday
#10

Настройте сначала ЧПУ, а уже потом закрывайте.

Disallow: /?

Дорвеи на заказ с гарантией трафика ( /ru/forum/993918 ) >>> Осторожно, в телеге/скайпе есть клоны! Проверяйте, что общаетесь именно со мной через личку!

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий