Закрытие всех страниц от индексации кроме

12
17
На сайте с 27.07.2011
Offline
0
1149

Подскажите как мне в robots.txt закрыть все страницы на сайте, но оставить только 4 страницы (главная и несколько внутренних)

User-agent: Yandex

Allow: /node/29

Allow: /node/27

Allow: /node/28

Disallow: /

Сейчас на сайте идёт так, а как мне разрешить индексировать главную?

Speaker19
На сайте с 20.12.2010
Offline
224
#1

Сделайте просто наоборот, откройте полностью индексацию сайта и позакрывайте страницы, которые не нужны в индексе! Скиньте сайт в личку - помогу составить файл!

Дешевая и эффективная реклама ВКонтакте: сообщества, рекламные посты, аналитика. (http://adspoiler.com/r/16336752) Имеются свободные рекламные места в соц. сетях? (http://partner.apishops.com/soc.htm)
17
На сайте с 27.07.2011
Offline
0
#2

просто там около 300 страниц. Долго составлять. Я сейчас сам составлю и тебе пришлю а ты скажешь всё ли ок...

K
На сайте с 31.01.2001
Offline
737
#3
1987:
а как мне разрешить индексировать главную?

Allow: /$

Disallow: /

Speaker19:
Скиньте сайт в личку - помогу составить файл!

На парьтесь, это не нужно, см. выше.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
cheredov
На сайте с 07.04.2011
Offline
125
#4
1987:
Подскажите как мне в robots.txt закрыть все страницы на сайте, но оставить только 4 страницы (главная и несколько внутренних)

User-agent: Yandex
Allow: /node/29
Allow: /node/27
Allow: /node/28
Disallow: /

Сейчас на сайте идёт так, а как мне разрешить индексировать главную?

User-agent: Yandex

Allow: /node/29

Allow: /node/27

Allow: /node/28

Allow: /$

Disallow: /

Иван Чередов (http://ivan.cheredov.com/about/)
17
На сайте с 27.07.2011
Offline
0
#5
Kost:
Allow: /$
Disallow: /


На парьтесь, это не нужно, см. выше.

окей, спасибо.

Toan
На сайте с 06.08.2008
Offline
214
#6

Чтобы не открывать новый топик, задам здесь аналогичный вопрос. Сайт работает на старом самописном движке, урлы имеют такой вид:

site.ru/year/month/name.html

Каким образом можно закрыть для индексации страницы

site.ru/year/

site.ru/year/month/

и при этом разрешить индексацию страницы site.ru/year/month/name.html ?

Простейший способ сбора НК ключей (http://mutagen.ru/?r=55527), дающих трафик. Всего 30 рублей за 100 шт. А также автоматическая группировка (http://semparser.ru/p/1506) запросов по страницам для эффективного продвижения + экономия на текстах.
Speaker19
На сайте с 20.12.2010
Offline
224
#7
Toan:
Каким образом можно закрыть для индексации страницы

Попробуйте эти страницы закрыть от индексации мета тегом

<meta name="robots" content="noindex,follow" />
прописав его в head страниц site.ru/year/ и site.ru/year/month/
cheredov
На сайте с 07.04.2011
Offline
125
#8
Toan:
Чтобы не открывать новый топик, задам здесь аналогичный вопрос. Сайт работает на старом самописном движке, урлы имеют такой вид:
site.ru/year/month/name.html

Каким образом можно закрыть для индексации страницы
site.ru/year/
site.ru/year/month/

и при этом разрешить индексацию страницы site.ru/year/month/name.html ?

Disallow: /year/month/$

Disallow: /year/$

Speaker19
На сайте с 20.12.2010
Offline
224
#9
cheredov:
Disallow: /year/month/$
Disallow: /year/$

Согласитесь, что если этих годов и месяцев большое количество, то какого же размера будет файл robots.txt, плюс необходимо будет постоянно добавлять новые записи!

Легче всё-таки прописать в движке для вывода в категориях мета тег!

K
На сайте с 31.01.2001
Offline
737
#10

Disallow: /19*/*/$

Disallow: /20*/*/$

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий