Как оставить для индексации только главную?

max_k
На сайте с 25.02.2009
Offline
68
429

Доброго времени суток! Вопрос такой, как правильно должен выглядеть robots.txt, чтобы пускать яндекс только на главную. Сайт на жустине, то есть главная site.ru/index.php а остальные страницы сайта http://site.ru/index.php?option=com_........Так же интересно, как быстро яндекс забудет про внутренние страницы, и когда они выпадут из кеша? может кто-то сталкивался? Заранее спасибо.

Fat Bear
На сайте с 01.12.2006
Offline
264
#1

Вот так:

User-agent:   *

Disallow: /index.php

Если закрыть нужно только от Яндекса, а остальным поисковикам оставить доступность к сайту, то вот так:


User-agent: Yandex
Disallow: /index.php

User-agent: *
Disallow:
Открыть счёт в Capitalist ( https://capitalist.net/reg?from=e5707ff0c3 ). Виртуальные карты, USDT, банковские переводы, выплаты партнёрских программ. Push-партнёрка с высоким рейтом hClicks(https://hclicks.com/?ref=61dc0714).
max_k
На сайте с 25.02.2009
Offline
68
#2
Масол:
Вот так:
User-agent:   *

Disallow: /index.php


Если закрыть нужно только от Яндекса, а остальным поисковикам оставить доступность к сайту, то вот так:

User-agent: Yandex
Disallow: /index.php

User-agent: *
Disallow:

Разве в таком случае главная остается открытой для индексации?

Fat Bear
На сайте с 01.12.2006
Offline
264
#3
max_k:
Разве в таком случае главная остается открытой для индексации?

Да, останется. У любого сайта, с точки зрения поисковой системы, есть четыре зеркала, как то:

www.site.ru

site.ru

www.site.ru/index.php

site.ru/index.php

С помощью Disallow/ index.php Вы закроете от индексации внутренние страницы сайта и два зеркала сайта. Но оставшиеся два при этом будут вполне нормально себе работать. Естественно, без индексации внутренних страниц.

Данный метод сработает только в том случае, если у Вас на сайте не подключен модуль ЧПУ.

Но, судя по исходной Вашей информации, у Вас его нет.

max_k
На сайте с 25.02.2009
Offline
68
#4
Масол:
Да, останется. У любого сайта, с точки зрения поисковой системы, есть четыре зеркала, как то:

www.site.ru
site.ru
www.site.ru/index.php
site.ru/index.php

С помощью Disallow/ index.php Вы закроете от индексации внутренние страницы сайта и два зеркала сайта. Но оставшиеся два при этом будут вполне нормально себе работать. Естественно, без индексации внутренних страниц.

Данный метод сработает только в том случае, если у Вас на сайте не подключен модуль ЧПУ.
Но, судя по исходной Вашей информации, у Вас его нет.

Огромное спаисибо! Очень помогли.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий