помогите настроить robots.txt под googlebot

123av
На сайте с 29.06.2004
Offline
168
1018

есть сайт , структура

http://mysite.com/

http://mysite.com/index.php

http://mysite.com/page.html

http://mysite.com/dynamicpages.php

нужно разрешить гуглботу индексировать

http://mysite.com/

http://mysite.com/index.php

и запретить индексировать все остальное , как сделать , подскажите.

Каширин
На сайте с 03.01.2004
Offline
1031
#1

Можно, например, так:

User-Agent: Googlebot
Disallow: /dynamicpages.php
Disallow: /page.html

Читайте матчаcть Google

123av
На сайте с 29.06.2004
Offline
168
#2

http://mysite.com/page.html

вот этих page.html очень много , т.е

page1.html

mypage.html

example1.html

test2.html

и так далее , все прописывать я устану и каждый день появляются новые , а названия не повторяются.

CZ
На сайте с 14.03.2006
Offline
39
#3

Вот хорошая ссылка в тему

http://www.robotstxt.org.ru/

Каширин
На сайте с 03.01.2004
Offline
1031
#4
123av:
http://mysite.com/page.html
вот этих page.html очень много , т.е
page1.html
mypage.html
example1.html
test2.html
и так далее , все прописывать я устану и каждый день появляются новые , а названия не повторяются.

Тогда так:

User-Agent: Googlebot
Disallow: /
Allow: /index.php.

Но имейте в виду, что мордой сайта после этого будет site.ru/index.php, а site.ru индексироваться не будет. А также то, что будут индексироваться страницы типа /index.php?id=1520&cool=hoock

A
На сайте с 12.05.2004
Offline
176
#5

Перенести все файлы кроме индекса в отдельную папку и закрыть ее от индексации.

I
На сайте с 23.07.2006
Offline
36
#6

Может попробывать с помощью <META NAME="ROBOTS" CONTENT="index, nofollow">

Если все ссылки ведут на главную, то по идее дальше главной робот не пойдет.

но с другой стороны повлияет на все роботы, а не только на Googlebot

podkova
На сайте с 24.08.2006
Offline
17
#7
Был прислан из будущего, для того, чтобы зачать Джона Коннера с Сарой Коннер на глазах у Джона Коннера.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий