Помоготие с robots.txt

Krakowiza
На сайте с 08.05.2009
Offline
45
798

Добрый день. Помогите с настройкой файла robots.txt

Пыталась запретить к индексации - ненужные страницы - в итоге Яндекс вебмастер говорит, что я запретила для индексации главную :((( Теперь она выпала из индекса и находится в списке запрещенных для робота....Вот содержание моего robots.txt

User-agent: *

Disallow: /kalkulyator/

Disallow: /stati-o-potolkax/uxod-za-natyazhnymi-potolkami/

Disallow: /natyazhnye-potolki/mnogourovnevye-potolki/

Disallow: /stati-o-potolkax/kak-zashhitit-zhile-ot-potopa/

Disallow: /stati-o-potolkax/natyazhnoj-potolok-estetichno-i-praktichno/

Disallow: /stati-o-potolkax/dostoinstva-natyazhnyx-potolkov/

Disallow: /stati-o-potolkax/istoriya-natyazhnyx-potolkov/

Disallow: /fotogalereya/

Disallow: /sezonnye-skidki/

Disallow: /zakazat/

Disallow: /kontakty/

Disallow: /otvety-na-voprosy/

Disallow: /zamershhik-besplatno/

Disallow: /kontakty/

Disallow: /natyazhnye-potolki/preimushhestva-natyazhnyx-potolkov/

Disallow: /dileram/

Disallow: /stati-o-potolkax/

Disallow: /garantii-kachestva/

Disallow: /potolki-iz-evropy/

Disallow: /stati-o-potolkax/osobennosti-montazha-natyazhnyx-potolkov/

Disallow: /natyazhnye-potolki/

Disallow: /otvety-na-voprosy/

Disallow: /zakazat/

Allow: /

Host: ххххх.ru

Sitemap: http://хххххххххх.ru/sitemap.xml

Не подписываюсь.
semenov
На сайте с 28.10.2005
Offline
317
#1

Сайт покажите, не стесняйтесь

Krakowiza
На сайте с 08.05.2009
Offline
45
#2
semenov:
Сайт покажите, не стесняйтесь

brillis-spb.ru

semenov
На сайте с 28.10.2005
Offline
317
#3

Тут добавляется: http://webmaster.yandex.ru/addurl.xml

Тут пишет, что разрешено: http://webmaster.yandex.ru/robots.xml

Глючит ваш Яндекс

Krakowiza
На сайте с 08.05.2009
Offline
45
#4
semenov:
Тут добавляется: http://webmaster.yandex.ru/addurl.xml
Тут пишет, что разрешено: http://webmaster.yandex.ru/robots.xml

Глючит ваш Яндекс

Сайт давно добавлен в панель веб мастера и в файле robots ошибок не показывает.....:(((

sealord
На сайте с 03.10.2003
Offline
128
#5

С мордой все ок, а вот если закрываете разделы "/stati-o-potolkax/" и "/natyazhnye-potolki/", то подразделы типа "/stati-o-potolkax/uxod-za-natyazhnymi-potolkami/" можно уже отдельно не закрывать - лишние строчки.

Ora et labora
K
На сайте с 31.01.2001
Offline
737
#6

Не вижу ошибок.

Но вот зачем эта строчка:

Krakowiza:
Allow: /

можете объяснить?

И да, отсортируйте строчки Disallow по алфавиту, сразу полегчает.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
Krakowiza
На сайте с 08.05.2009
Offline
45
#7
Kost:
Не вижу ошибок.
Но вот зачем эта строчка:

можете объяснить?

И да, отсортируйте строчки Disallow по алфавиту, сразу полегчает.

Ну - эта срока - имеет в виду, что запрещен ряд страниц - а остальные разрешены.....Надо убрать?

semenov
На сайте с 28.10.2005
Offline
317
#8

Так оно правильней будет :)


User-agent: *
Disallow: /dileram/
Disallow: /fotogalereya/
Disallow: /garantii-kachestva/
Disallow: /kalkulyator/
Disallow: /kontakty/
Disallow: /natyazhnye-potolki/
Disallow: /otvety-na-voprosy/
Disallow: /potolki-iz-evropy/
Disallow: /sezonnye-skidki/
Disallow: /stati-o-potolkax/
Disallow: /zakazat/
Disallow: /zamershhik-besplatno/

User-agent: Yandex
Disallow: /dileram/
Disallow: /fotogalereya/
Disallow: /garantii-kachestva/
Disallow: /kalkulyator/
Disallow: /kontakty/
Disallow: /natyazhnye-potolki/
Disallow: /otvety-na-voprosy/
Disallow: /potolki-iz-evropy/
Disallow: /sezonnye-skidki/
Disallow: /stati-o-potolkax/
Disallow: /zakazat/
Disallow: /zamershhik-besplatno/
Host: brillis-spb.ru
Sitemap: http://brillis-spb.ru/sitemap.xml
Krakowiza
На сайте с 08.05.2009
Offline
45
#9

Спасибо, очень помогли!

sealord
На сайте с 03.10.2003
Offline
128
#10
Krakowiza:
Ну - эта срока - имеет в виду, что запрещен ряд страниц - а остальные разрешены.....Надо убрать?

По умолчанию всё что не запрещено - то разрешено, поэтому тут она не нужна.

А директива эта используется, например, если в запрещенном разделе надо разрешить подраздел или страницу.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий