правильно ли прописан robots.txt? а то гугл не индексит

MC
На сайте с 22.09.2005
Offline
72
469

Всех приветствую!

Что-то долго гугл не индексит внутренние страницы, посему подумалось мне, может я где-то в роботсах накосячил:

User-agent: *

Allow: /$

Allow: /page1.html

Allow: /page2.html

Allow: /page3.html

Allow: /page4.html

Allow: /page5.html

Allow: /page6.html

Allow: /page7.html

Disallow: /

собственно я хотел, чтобы поисковики индексили морду и несколько(page1-page7) внутр страниц, а все остальное не индексили, но гугл что-то дальше морды пока не проиндексил.

В чем косяк, или просто гугл тормозит?

Благодарю за ваше советы!

september
На сайте с 11.09.2009
Offline
591
#1

Дабы долго не искать в гугловском хелпе, скомунижжю с яндексовского:

Disallow: / # блокирует доступ ко всему сайту
$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
MC
На сайте с 22.09.2005
Offline
72
#2
september:
Дабы долго не искать в гугловском хелпе, скомунижжю с яндексовского:

Да, но ведь по идее Allow: задает исключения для "Disallow: /"

Изначально я код брал от сюда /ru/forum/642869

просто по мимо морды, добавил еще несколько внутренних страниц, морду он проиндексил, а внутреннии что-то не хочет.

M1
На сайте с 15.11.2007
Offline
127
#3

В инструментах для веб-мастеров проверьте свой robots

Vyacheslaf
На сайте с 02.08.2012
Offline
40
#4

User-agent: *

Disallow: / - Запретить все

Кроме вот этого:

Allow: /$

Allow: /page1.html

Allow: /page2.html

Allow: /page3.html

Allow: /page4.html

Allow: /page5.html

Allow: /page6.html

Allow: /page7.html

Безлимитный хостинг в UK & USA (https://ifastnet.com/portal/aff.php?aff=12242) Недорогой VPS с 100% uptime (https://fornex.com/?server=60)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий