Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt

IceHell
На сайте с 21.08.2010
Offline
95
IceHell
526

Проблема с индексацией, CMS Битрикс, на сайте ~ 20 страниц.

Гугл индексирует ~550 страниц.

Хочу сделать в robots.txt открыть эти 20 страниц, а остальноё всё полностью закрыть, и потом новые страницы добавлять в robots.txt. Так нормально ? Поссоветуйте, что делать ?

И как делаеться закрытие ? Можно делать исключения ?

Типо так или как ? =)

Disallow: /

Allow: /o_kompanii/

Allow: /o_kompanii1/

Allow: /o_kompanii2/

IceHell добавил 12.08.2011 в 14:44

http://help.yandex.ru - читаю, но совет хочу получить...

Бары Москвы (http://www.gdebar.ru) - поиск развлечений по станциям метро в Москве.
Azazelkin
На сайте с 13.06.2010
Offline
101
Azazelkin
#1

У вас что, 530 технических страниц?

подпезь
IceHell
На сайте с 21.08.2010
Offline
95
IceHell
#2

Не знаю точно, но какие то дубли, я просто в Битрикс мало что понимаю...

Azazelkin
На сайте с 13.06.2010
Offline
101
Azazelkin
#3
IceHell:
Хочу сделать в robots.txt открыть эти 20 страниц, а остальноё всё полностью закрыть, и потом новые страницы добавлять в robots.txt. Так нормально ?

нет, не нормально.

webeditor
На сайте с 12.12.2010
Offline
108
webeditor
#4

Allow: /o_kompanii/

Allow: /o_kompanii1/

Allow: /o_kompanii2/

...

...

Disallow: /

Куплю любой ваш сайт (https://goo.gl/bFFa4p) Без сомнения лучший недорогой хостинг (https://goo.gl/QaAKmT)
W
На сайте с 17.10.2008
Offline
128
Webperets
#5
webeditor:
Allow: /o_kompanii/
Allow: /o_kompanii1/
Allow: /o_kompanii2/
...
...
Disallow: /

+1

Сначала показываешь что можно индексировать, а потом все закрываешь.

А если так прописать:

Disallow: /

Allow: /o_kompanii/

Allow: /o_kompanii1/

Allow: /o_kompanii2/

то робот увидит Disallow: /(все закрыто) и дальше даже не будет смотреть и уйдет с сайта.

IceHell:
Проблема с индексацией, CMS Битрикс, на сайте ~ 20 страниц.
Гугл индексирует ~550 страниц.

А Вам не кажется что это АГС?

Либо сайт совсем новый и Яндекс просто еще все не проиндексировал. Гугл новые сайты быстрей индексирует.

А вот если это все таки АГС, то

IceHell:

Хочу сделать в robots.txt открыть эти 20 страниц, а остальноё всё полностью закрыть, и потом новые страницы добавлять в robots.txt. Так нормально ? Поссоветуйте, что делать ?

может помочь, только тогда лучше закрыть все, кроме главной вот так:

User-agent: Yandex

Allow: /$

Disallow: /

Подождать пока в индексе не останется только главная, написать немного(а лучше много) уникального контента и потихоньку открывать его, по мере индексации Яндексом разбавлять уник старыми страницами. Думаю может помочь. Мало Вы написали про сайт. Проблем может быть несколько, по вашему первому посту не видно что конкретно.

Тот, кто не согласен с моей точкой зрения, тот и на другие подлости способен. P.S. Ничто так не украшает человека как дружба с собственной головой
Новые стандарты для директивы Мэтт Катс объяснил, зачем Актуальное техническое SEO
IceHell
На сайте с 21.08.2010
Offline
95
IceHell
#6

Сайту уже 1,5 года. Вот то, что мне на данный момент нужно показать ПМ, а всё остальноё скрыть...

Allow: /index.php

Allow: /o_kompanii.php

Allow: /uslug/

Allow: /uslug/burenie/

Allow: /uslug/ochistka/

Allow: /uslug/otoplenie/

Allow: /oborud/

Allow: /oborud/obor_ochistka/

Allow: /oborud/obor_otoplen/

Allow: /info/stat/bur.php

Allow: /contact/

Disallow: /

Собственно сайт: http://www.gidrostroy-sp.ru

З.Ы - Cайт только передан Веб-Мастеру, на содержание внимание не обращать.

Верно ?

Global Stats: Google монополизировал Актуальное техническое SEO Типовые технические проблемы региональных
W
На сайте с 17.10.2008
Offline
128
Webperets
#7
IceHell:
Сайту уже 1,5 года. Вот то, что мне на данный момент нужно показать ПМ, а всё остальноё скрыть...

Allow: /index.php
Allow: /o_kompanii.php
Allow: /uslug/
Allow: /uslug/burenie/
Allow: /uslug/ochistka/
Allow: /uslug/otoplenie/
Allow: /oborud/
Allow: /oborud/obor_ochistka/
Allow: /oborud/obor_otoplen/
Allow: /info/stat/bur.php
Allow: /contact/

Disallow: /

Собственно сайт: http://www.gidrostroy-sp.ru

З.Ы - Cайт только передан Веб-Мастеру, на содержание внимание не обращать.

Верно ?

Я бы в роботсе так прописал

User-agent: Yandex

Allow: /index.php

Allow: /o_kompanii.php

Allow: /uslug/

Allow: /uslug/burenie/

Allow: /uslug/ochistka/

Allow: /uslug/otoplenie/

Allow: /oborud/

Allow: /oborud/obor_ochistka/

Allow: /oborud/obor_otoplen/

Allow: /info/stat/bur.php

Allow: /contact/

Disallow: /

Host: www.ваш сайт.ru

User-agent: *

Allow: /index.php

Allow: /o_kompanii.php

Allow: /uslug/

Allow: /uslug/burenie/

Allow: /uslug/ochistka/

Allow: /uslug/otoplenie/

Allow: /oborud/

Allow: /oborud/obor_ochistka/

Allow: /oborud/obor_otoplen/

Allow: /info/stat/bur.php

Allow: /contact/

Disallow: /

Вот этой дерективой

Host: www.ваш сайт.ru

указывается яндексу, что главное зеркало сайта www.ваш сайт.ru Яндекс еще не склеил Ваши сайт с www и без.

Редирект 301 у вас стоит и редиректит gidrostroy-sp.ru на www.ваш сайт.ru

Новые стандарты для директивы Выбор главного зеркала для О чем нужно помнить

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий