Robots для гугла

12
I
На сайте с 22.10.2012
Offline
115
511

В последнее время стал замечать, многие сайты под гугл пишут роботс крайне лаконично:

User-agent: Googlebot Disallow:

при том для яши как положено, с закрытием всего ненужного

А гуглу отдают всё, типо сам разбирайся. 

Что скажите? Стоит поэкспериментировать тоже так или нет?

P/S. Сомнения из-за того, что на сайте более 7 тыс страниц, но в гугл консоли, где эффективные страницы для смартфонов всего 1.5-2 тыс, и больше никак не скармливаются ему вот уже долго, может окрыть все для индексации...


Единственный хостинг, который предоставляет защиту от DDoS вплоть до L7, а не L3-L4 всего за 450 руб: https://adminvps.ru/vps/vps_russia.php?aff=17004
МА
На сайте с 02.11.2018
Offline
190
#1
iSmel :

P/S. Сомнения из-за того, что на сайте более 7 тыс страниц, но в гугл консоли, где эффективные страницы для смартфонов всего 1.5-2 тыс, и больше никак не скармливаются ему вот уже долго, может окрыть все для индексации...


Через API скармливать пробовал?

Nokia x71 (https://x71.ru/) - хороший смартфон, и отзывы интересные
I
На сайте с 22.10.2012
Offline
115
#2
Махмуд Аббас #:

Через API скармливать пробовал?

Неа, неумею )

minsky
На сайте с 01.09.2012
Offline
219
#3
iSmel #:

Неа, неумею )

Могу помочь)
Продвигаю сайты ссылками, ускоряю индексацию сайтов и отдельных страниц ( https://kwork.ru/user/minsky?ref=23382 )
I
На сайте с 22.10.2012
Offline
115
#4
minsky #:
Могу помочь)

В этом случае может помочь? Гугл по факту то все страницы проиндексировал: 

Индексация

А вот где удобство, тут вот так:

Удобство

И где эффективность страниц также

D
На сайте с 24.12.2009
Offline
133
#5

А если google api не помогает, кто может дать ссылку, как настроить какую-нибудь rss или пингование, чтобы скормить гуглу?

А то обидно блин. Есть примерно 1000 страниц, контент уник. Те 100 что в индексе хорошие позиции в гугле, несут траф. Но оставшиеся скормить никак не получается.

При этом на сайте недавно был вирус, он фейковые страницы тысячами загнал, то есть в принципе гугл есть готов.

Но 900 страниц из 1000 уже года 2 никак загнать туда не могу.

V
На сайте с 20.09.2009
Offline
159
#6
dmpv #:

А если google api не помогает, кто может дать ссылку, как настроить какую-нибудь rss или пингование, чтобы скормить гуглу?

Я через add-my-url.com загоняю в гугл, но это платно.

minsky
На сайте с 01.09.2012
Offline
219
#7
dmpv #:
При этом на сайте недавно был вирус, он фейковые страницы тысячами загнал, то есть в принципе гугл есть готов.
Так API поможет быстро убрать из поиска эти страницы.
dansokolov
На сайте с 25.09.2007
Offline
149
#8
iSmel :

В последнее время стал замечать, многие сайты под гугл пишут роботс крайне лаконично:

User-agent: Googlebot Disallow:

при том для яши как положено, с закрытием всего ненужного

А гуглу отдают всё, типо сам разбирайся. 

Что скажите? Стоит поэкспериментировать тоже так или нет?

P/S. Сомнения из-за того, что на сайте более 7 тыс страниц, но в гугл консоли, где эффективные страницы для смартфонов всего 1.5-2 тыс, и больше никак не скармливаются ему вот уже долго, может окрыть все для индексации...


Это потому, что Гугл в GSC начинает орать: "аааа, я проиндексировал, а вы страницу в роботсе закрыли". Через meta name robots = noindex закрывайте, плюс каноникал для параметров ?utm_source всяких 

Антоний Казанский
На сайте с 12.04.2007
Online
786
#9
iSmel :

В последнее время стал замечать, многие сайты под гугл пишут роботс крайне лаконично:

User-agent: Googlebot Disallow:

при том для яши как положено, с закрытием всего ненужного

А гуглу отдают всё, типо сам разбирайся. 

Что скажите?

Скажу, что то, что закрыто для Яндекса не помешает закрывать и для Гугла. Другое дело, что Гугл может устойчиво игнорировать инструкции в robots (но это уже дело третье), но так или иначе отдельно для Гугла открывать для индексации все - я не вижу никакого полезного смысла.

√ SEO продвижение ► https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Разговоры о SEO и не только: культурно, вежливо, доброжелательно ► https://t.me/seotusovochka
Delahoya
На сайте с 13.11.2011
Offline
149
#10
viktordl #:

Я через add-my-url.com загоняю в гугл, но это платно.

так это старый сервис аддурилка была бесплатной и ее уже закрыли

Когда-то здесь будет реклама.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий