Форум Поисковые системы Google

Роботс для Гугла

T4
На сайте с 13.03.2011
Offline
75
Trillion400
560

друзья!

В роботсе моего сайта прописаны к запрету директории которые Яндекс соблюдает а Гугл,хоть и запрещено ,индексирует все разделы в роботс такого вида::eek:

User-agent: *

http://site.net/video/

http://site.net/audio/

http://site.net/books/

Я не не пойму-нужно отдельно для Гоши список в роботсе прописывать?:confused:

,типа :

User-agent: Googlebot

http://site.net/video/

http://site.net/audio/

http://site.net/books/

Тогда мой роботс только на Яшу влияет?

Поподробнее пожалуйста и если нетрудно с примером роботса под Яшу,Гошу и другие ПС .

Заранее спасибо!:)

september
На сайте с 11.09.2009
Offline
591
september
#1

Поищите по форуму уже неоднократно такие темы всплывали. Ну больная ПС, что тут сказать.

$ карта для вывода вебмани в любой точке мира (https://www.epayments.com/registration?p=dc2462e885)
Vin_cent
На сайте с 22.01.2010
Offline
165
Vin_cent
#2

В google webmasters есть форма для проверки как, robots.txt и его правила понимает гуглбот для любого указанного урла.

iren K
На сайте с 28.12.2008
Offline
222
iren K
#3
Trillion400:
друзья!

В роботсе моего сайта прописаны к запрету директории которые Яндекс соблюдает а Гугл,хоть и запрещено ,индексирует все разделы в роботс

уже трижды ссылку давала +

While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web.
c уважением Iren
T4
На сайте с 13.03.2011
Offline
75
Trillion400
#4
Vin_cent:
В google webmasters есть форма для проверки как, robots.txt и его правила понимает гуглбот для любого указанного урла.

Так в том то и дело что роботс который понимает Яндекс - игнорирует Гугл! Индексит все!

Straifer1
На сайте с 23.05.2007
Offline
164
Straifer1
#5

Закинул запрещенные в роботсе урлы в WMT, по pr-cy.ru периодически мониторю индексацию и уже не первый раз вижу, как фиксируется вылет заблокированных страниц в статистике, но при переходе по ссылке всё уже на месте. Похоже тужится он тужится и никак у него не получается облегчиться🤪

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий