Помогите с robots.txt

94

RZ101

5 октября 2011, 10:44

615

Есть сайт, CMS которого "плодит" много "левых" ссылок, которые нужно закрыть от индексации. Пошли самым простым путём, т.е. разрешили только "нужные" страницы, а остальные запретили, но вместе с остальными запретилась и главная страница, как разрешить главную страницу.

User-agent: *

Allow: /polistirol.html

Allow: /xingda.html

Allow: /king_pearl.html

Allow: /polietilen.html

Allow: /polypropilen.html

Allow: /xingdazkf-301.html

Allow: /xingdazkf-302.html

Allow: /xingdazkf-303.html

Allow: /reliance.html

Allow: /f-o220-s.html

Allow: /f-o120.html

Allow: /polyvinylchloride.html

Allow: /tianye.html

Allow: /sg3.html

Allow: /sg5.html

Allow: /sg7.html

Allow: /georgia_gulf.html

Allow: /contacts.html

Allow: /office.html

Allow: /72.html

Allow: /95.html

Allow: /96.html

Allow: /noginsk.html

Allow: /about.html

Allow: /production.html

Disallow: /

K

737

Kost

5 октября 2011, 10:52

#1

Allow: /$

см. help.yandex.ru

P.S. Только следите за нововведениями, скоро использование директив изменится.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

R1

94

RZ101

5 октября 2011, 10:57

#2

Спасибо за помощь.

188

Xammer2000

5 октября 2011, 19:57

#3

Вот написал роботс, для яши, т.к. Яша упорно не хочет идти в раздел блог моего магазина, не подскажете не переборщил ли я ? Или может что не так написал?

User-Agent: *

Disallow: /cgi-bin

Host: www.silver-mania.ru

Disallow: /index.php?

Disallow: /?

Disallow: /printable.php?

Disallow: /admin.html

Disallow: /cart.html

Disallow: /wide_search.html

Disallow: /feedback.html

Disallow: /compare.html

Disallow: /*_offset_0.html

Allow: /articles/

Allow: /interesnoe/

Allow: /nashi-brendy/

Allow: /nashi-partnery/

Allow: /jewellery-collections/

Allow: /yuvelirnye-novosti/

Allow: /jewellery-shape/

Allow: /product*

Allow: /show_news*

Роботс robots.txt и доры? Как еще оптимизировать сайт

K

737

Kost

5 октября 2011, 20:08

#4

Xammer2000:
упорно не хочет идти в раздел блог моего магазина

Когда появилась первая запись в блоге? Сколько уже недель или месяцев робот "не хочет" туде идти?

188

Xammer2000

6 октября 2011, 09:05

#5

просто это магазин на cms, а к нему мы прикрутили блог на wordpress, а не заходит давно месяц уже (

K

737

Kost

6 октября 2011, 09:31

#6

Xammer2000, вы не видите мои вопросы? ОК, попробуем еще:

1. Когда появилась первая запись в блоге?

2. Как вы контролируете заходы робота, логи?

188

Xammer2000

17 октября 2011, 12:20

#7

Извините за задержку

1. Когда появилась первая запись в блоге?
2. Как вы контролируете заходы робота, логи?

- первая запись в блоге появилась 30.07/2011

- робота контролирую через яндекс вебмастер

Open AI тестирует память для ChatGPT

Что такое Power BI и зачем это нужно бизнесу