Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Помогите с robots.txt

R1
На сайте с 19.07.2008
Offline
94
RZ101
615

Есть сайт, CMS которого "плодит" много "левых" ссылок, которые нужно закрыть от индексации. Пошли самым простым путём, т.е. разрешили только "нужные" страницы, а остальные запретили, но вместе с остальными запретилась и главная страница, как разрешить главную страницу.

User-agent: *

Allow: /polistirol.html

Allow: /xingda.html

Allow: /king_pearl.html

Allow: /polietilen.html

Allow: /polypropilen.html

Allow: /xingdazkf-301.html

Allow: /xingdazkf-302.html

Allow: /xingdazkf-303.html

Allow: /reliance.html

Allow: /f-o220-s.html

Allow: /f-o120.html

Allow: /polyvinylchloride.html

Allow: /tianye.html

Allow: /sg3.html

Allow: /sg5.html

Allow: /sg7.html

Allow: /georgia_gulf.html

Allow: /contacts.html

Allow: /office.html

Allow: /72.html

Allow: /95.html

Allow: /96.html

Allow: /noginsk.html

Allow: /about.html

Allow: /production.html

Disallow: /

K
На сайте с 31.01.2001
Offline
737
Kost
#1

Allow: /$

см. help.yandex.ru

P.S. Только следите за нововведениями, скоро использование директив изменится.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
R1
На сайте с 19.07.2008
Offline
94
RZ101
#2

Спасибо за помощь.

Xammer2000
На сайте с 10.08.2011
Offline
188
Xammer2000
#3

Вот написал роботс, для яши, т.к. Яша упорно не хочет идти в раздел блог моего магазина, не подскажете не переборщил ли я ? Или может что не так написал?

User-Agent: *

Disallow: /cgi-bin

Host: www.silver-mania.ru

Disallow: /index.php?

Disallow: /?

Disallow: /printable.php?

Disallow: /admin.html

Disallow: /cart.html

Disallow: /wide_search.html

Disallow: /feedback.html

Disallow: /compare.html

Disallow: /*_offset_0.html

Allow: /articles/

Allow: /interesnoe/

Allow: /nashi-brendy/

Allow: /nashi-partnery/

Allow: /jewellery-collections/

Allow: /yuvelirnye-novosti/

Allow: /jewellery-shape/

Allow: /product*

Allow: /show_news*

Роботс robots.txt и доры? Как еще оптимизировать сайт
K
На сайте с 31.01.2001
Offline
737
Kost
#4
Xammer2000:
упорно не хочет идти в раздел блог моего магазина

Когда появилась первая запись в блоге? Сколько уже недель или месяцев робот "не хочет" туде идти?

Xammer2000
На сайте с 10.08.2011
Offline
188
Xammer2000
#5

просто это магазин на cms, а к нему мы прикрутили блог на wordpress, а не заходит давно месяц уже (

K
На сайте с 31.01.2001
Offline
737
Kost
#6

Xammer2000, вы не видите мои вопросы? ОК, попробуем еще:

1. Когда появилась первая запись в блоге?

2. Как вы контролируете заходы робота, логи?

Xammer2000
На сайте с 10.08.2011
Offline
188
Xammer2000
#7

Извините за задержку

1. Когда появилась первая запись в блоге?
2. Как вы контролируете заходы робота, логи?

- первая запись в блоге появилась 30.07/2011

- робота контролирую через яндекс вебмастер

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий