Роботс не работает!?

12
X
На сайте с 12.07.2012
Offline
70
1348

Как заставить гугл индексировать только морду сайта?

в роботс запретил все , что можно, двиг вордпрес. Проиндексировал все что запрещено, теперь хочу оставить только морду, но продолжает индексировать и совать в выдачу с пометкой, что страница не доступна и закрыта в роботс.

Очень нужно оставить только морду в выдаче

Straifer1
На сайте с 23.05.2007
Offline
164
#1
xarraw:
Как заставить гугл индексировать только морду сайта?
в роботс запретил все , что можно, двиг вордпрес. Проиндексировал все что запрещено, теперь хочу оставить только морду, но продолжает индексировать и совать в выдачу с пометкой, что страница не доступна и закрыта в роботс.
Очень нужно оставить только морду в выдаче

гугл роботс для сканирования использует, для того что бы полностью удалить страницы из индекса нужно открыть страницы в роботс, а в хедере прописать <meta name="robots" content="noindex">

X
На сайте с 12.07.2012
Offline
70
#2
Straifer1:
гугл роботс для сканирования использует, для того что бы полностью удалить страницы из индекса нужно открыть страницы в роботс, а в хедере прописать <meta name="robots" content="noindex">

Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.

Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.

рекомендации гугла! говорю же, гугл все равно индексирует и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

Straifer1
На сайте с 23.05.2007
Offline
164
#3
xarraw:
Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.

Если страница не запрещена к индексации в robots.txt, но заблокирована с помощью метатега, Google-бот откроет ее, прочитает метатеги, и впоследствии не станет индексировать.

рекомендации гугла! говорю же, гугл все равно индексирует и пишет "Описание веб-страницы недоступно из-за ограничений в файле robots.txt. Подробнее..."

А я о чем написал, странно что вам не помогает. Если страница в индексе, но описание не доступно, значит он не может её сканировать, но и запрета к индексации он не видит...

X
На сайте с 12.07.2012
Offline
70
#4
Straifer1:
А я о чем написал, странно что вам не помогает. Если страница в индексе, но описание не доступно, значит он не может её сканировать, но и запрета к индексации он не видит...

ну как же не видит запрета если он сам пишет, что она запрещена...

нужно позарез, что в выдаче была только морда

Straifer1
На сайте с 23.05.2007
Offline
164
#5
xarraw:
ну как же не видит запрета если он сам пишет, что она запрещена...
нужно позарез, что в выдаче была только морда

А как он может видеть если он не может просканировать страницу на которой добавлен метатег?:)

X
На сайте с 12.07.2012
Offline
70
#6
Straifer1:
А как он может видеть если он не может просканировать страницу на которой добавлен метатег?:)

...разговор ни о чем...

тогда перефразирую, как скрыть линки от гугл, чтоб он их не видел и не переходил на них и не индексировал

Straifer1
На сайте с 23.05.2007
Offline
164
#7
xarraw:
...разговор ни о чем...
тогда перефразирую, как скрыть линки от гугл, чтоб он их не видел и не переходил на них и не индексировал

Как ни о чем? Вы хотите при запрещенном сканировании выкинуть страницы из индекса, так не получится, нужно разрешить боту сканировать страницы, а насчет не сканировать и не индексировать, пробуйте <meta name="robots" content="noindex,nofollow">

X
На сайте с 12.07.2012
Offline
70
#8
Straifer1:
Как ни о чем? Вы хотите при запрещенном сканировании выкинуть страницы из индекса, так не получится, нужно разрешить боту сканировать страницы, а насчет не сканировать и не индексировать, пробуйте <meta name="robots" content="noindex,nofollow">

увы, но даный тег можно вставить только на все страницы... на отдельные не получиться

сделал 301 на морду пусть индексирует

Straifer1
На сайте с 23.05.2007
Offline
164
#9
xarraw:
увы, но даный тег можно вставить только на все страницы... на отдельные не получиться
сделал 301 на морду пусть индексирует

Если извратиться можно и на отдельные, например по признакам урлов, если таковые имеются, программер сделает.

iren K
На сайте с 28.12.2008
Offline
222
#10
xarraw:
Если Вы блокируете страницы через robots.txt, Google-бот никогда не будет сканировать их и никогда не будет читать метатеги этих страниц.

ошибаетесь:

While Google won't crawl or index the content of pages blocked by robots.txt, we may still index the URLs if we find them on other pages on the web.
c уважением Iren
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий