Помогите с robots.txt

VETALIKZENIT
На сайте с 30.07.2009
Offline
16
395

Нужна его создать по таким категориям:

Страницы которые надо индексировать:

http://starya.net.ru/

http://starya.net.ru/index/0-27

http://starya.net.ru/news/rss/

http://starya.net.ru/blog

http://starya.net.ru/board

http://starya.net.ru/tests

http://starya.net.ru/forum

Страницы которые не надо индексировать:

http://starya.net.ru/index/0-3

/0-0-0-0-1

/images/*

Или составьте лучше и удобнее,ну как то так,ок?

И не нужно лишних слов.
Hackomotto
На сайте с 07.08.2008
Offline
81
#1

В вашем случае я б посоветовал не писать в роботсе страници которые разрешается индексировать, потому что робот зайдет на них и без особого "разрешения", а вписать страницы которые индексировать запрещается.

VETALIKZENIT
На сайте с 30.07.2009
Offline
16
#2

Hackomotto.Ну вы тогда напишите которые не индексировать.

Hackomotto
На сайте с 07.08.2008
Offline
81
#3
http://starya.net.ru/index/0-3
/0-0-0-0-1
/images/*

Помоему это уже вам решать что закрывать от индексации, а что нет. Вы имеете хоть приблезительное понятие о составлении роботса, тогда в чем проблема?

LeonCrab
На сайте с 30.01.2007
Offline
189
#4

Примерно так:

User-agent: Yandex
Host: SITE.RU (!!! ЗАМЕНИТЬ НА ВАШ!!!)
Disallow: /index/0-3
Disallow: /0-0-0-0-1
Disallow: /images/

User-agent: *
Disallow: /index/0-3
Disallow: /0-0-0-0-1
Disallow: /images/

Sitemap: http://SITE.RU/sitemap.xml (!!! ЗАМЕНИТЬ НА ВАШ!!!)

Это при условии что это адреса страниц:

А это папка с изображениями:

/images/*
Помощь в создании сайтов на MODX, Laravel, Slim. В личку. Хостинг, которому я доверяю (https://beget.com/p181956).
[K
На сайте с 12.01.2008
Offline
27
#5
User-agent: *
Disallow: /index/0-3
Disallow: /0-0-0-0-1

Этого будет достаточно (на папку images, надеюсь, прямых ссылок нет).

Веду SEO блог "Дневник вебмастера" (http://seo73.ru/). Еще у меня можно заказать сайт-визитку (http://businesscard.su/) (как говорится, дорого, долго, офигенно)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий