Robots.txt и индекс, плдскажите кто знает.

12
S
На сайте с 18.12.2009
Offline
12
654

Google кушает мой сайт в папке домена .../games/... а я хочу что бы он быстрее скушал ВСЕ страницы с другой папки. Если я в robots.txt поставлю Disalow: /games он просто пока перестанет индексировать эту папку или выкинет из индекса страницы с этой папки?

заранее спасибо.

Sower
На сайте с 30.12.2009
Offline
651
#1

выкинет из индекса страницы с этой папки

__________________Бесплатная накрутка ПФ: посещаемость, просмотры, переходы с поисковиков по ключевикам, итд.
__________________Все посетители живые, не боты. (http://livesurf.ru/promo/80271)
YmersY
На сайте с 29.01.2007
Offline
255
#2
Sower:
выкинет из индекса страницы с этой папки

Никого он не выкинет, т.к. robots.txt учитывается при первой индексации страницы 🙅

Ссылки под Google со СМИ - дешевле, чем в биржах - Пиши в личку, не стесняйся! Если же у вас есть ссылки под Google дешевле бирж - тоже пишите, куплю!
tiger2
На сайте с 09.10.2008
Offline
40
#3
YmersY:
Никого он не выкинет, т.к. robots.txt учитывается при первой индексации страницы 🙅

глупость, если запретить индексировать отдельную категорию то ПС выкинет все страницы в ней и все, проверенно

S
На сайте с 18.12.2009
Offline
12
#4
tiger2:
глупость, если запретить индексировать отдельную категорию то ПС выкинет все страницы в ней и все, проверенно

а есть какоето правило типа "временно не индехировать" но что бы не выкидывал.

Из провереного опыта желательно.

[Удален]
#5
Никого он не выкинет, т.к. robots.txt учитывается при первой индексации страницы

Робот тхт отвечает за запрет и разрешение индексации всегда! Если его переписывать, то он будет менять иструкции к индексации => переиндексируется сайт с запретами.

MC_BaT
На сайте с 09.09.2007
Offline
48
#6
Shmid:
а есть какоето правило типа "временно не индехировать" но что бы не выкидывал.
Из провереного опыта желательно.

А зачем "временно не индексировать"? Если Вам нужно проиндексировать другие страницы, находящиеся вне категории games , то не проще ли залить полноценный sitemap со всеми нужными урлами в корень и указать к нему путь в Вебмастере Гугла?

Clubbers guide (http://dj-neba.com.ua) Женский взгляд на SEO (http://seo-girl.com.ua/) Раскрутка акаунтов в Twitter, Livejournal (http://www.smonster.ru/?refcode=2690)
Sower
На сайте с 30.12.2009
Offline
651
#7
YmersY:
robots.txt учитывается при первой индексации страницы 🙅

Обалдеть как грамотно. :)

S
На сайте с 18.12.2009
Offline
12
#8
MC_BaT:
А зачем "временно не индексировать"? Если Вам нужно проиндексировать другие страницы, находящиеся вне категории games , то не проще ли залить полноценный sitemap со всеми нужными урлами в корень и указать к нему путь в Вебмастере Гугла?

потому что сайт большой(~100k страниц), я думал будет примерно равномерно кушать, а он тока 10% из заиндексированых берет которые по идее должны основной траф давать... вот и хотел временно закрыть, но если сделать Disalow - жаль что выкинет что уже внутри...

Sower
На сайте с 30.12.2009
Offline
651
#9
Shmid:
потому что сайт большой(~100k страниц), я думал будет примерно равномерно кушать, а он тока 10% из заиндексированых берет которые по идее должны основной траф давать... вот и хотел временно закрыть, но если сделать Disalow - жаль что выкинет что уже внутри...

Можно слепить несколько сайтмапов, указать в них только те страницы, которые ждёте в индексе, и скормить это дело гуглу. Не уверен, но возможно такой вариант и подкорректирует порядок индексации страниц.

MC_BaT
На сайте с 09.09.2007
Offline
48
#10
Shmid:
потому что сайт большой(~100k страниц), я думал будет примерно равномерно кушать, а он тока 10% из заиндексированых берет которые по идее должны основной траф давать... вот и хотел временно закрыть, но если сделать Disalow - жаль что выкинет что уже внутри...

В любом случае, сайтмап лишним точно не будет. а в роботсе позакрывайте всякие дубли, сортировки, сессии, если таковые имеются.

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий