Robots.txt для Гугла уже не нужен?

12
O8
На сайте с 11.07.2016
Offline
64
847

В авторитетном SEO блоге пишут об этом - https://yoast.com/wordpress-robots-txt-example/

В серч консоле ругается на закрытие includes, themes. Но в Яндексе замечаю (если убрать роботс) в статистике обхода wp-json, feed и т.п. дребедень, склоняюсь к тому что надо под Яндекс отдельно настраивать. А как вы поступаете?

LEOnidUKG
На сайте с 25.11.2006
Online
1742
#1

Вы вообще читали, что там написано то?

Суть, что не надо картинки и стили закрывать от гугла. Возможно это чиста фишка WP была их закрывать.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
O8
На сайте с 11.07.2016
Offline
64
#2
LEOnidUKG:
Вы вообще читали, что там написано то?

Суть, что не надо картинки и стили закрывать от гугла. Возможно это чиста фишка WP была их закрывать.

Читал и роботс их смотрел, вообще же если удалить этот файл движок сам его сгенерирует и он минимален.

[Удален]
#3
ovi8:
В авторитетном SEO блоге

у кого он авторитетный? 🤪

angel57
На сайте с 01.04.2014
Offline
154
#4
ovi8:
В авторитетном SEO блоге пишут об этом - https://yoast.com/wordpress-robots-txt-example/

В серч консоле ругается на закрытие includes, themes. Но в Яндексе замечаю (если убрать роботс) в статистике обхода wp-json, feed и т.п. дребедень, склоняюсь к тому что надо под Яндекс отдельно настраивать. А как вы поступаете?

User-agent: Yandex

(Директивы)

User-agent: Googlebot

(Директивы)

User-agent: *

(Директивы)

Что мешает как-то так сделать? :)

fargus10
На сайте с 22.09.2010
Offline
60
#5
angel57:
User-agent: Yandex
(Директивы)

User-agent: Googlebot
(Директивы)

User-agent: *
(Директивы)

Что мешает как-то так сделать? :)

только хотел написать об этом :)

кто мешает отдельно для поисковиков давать указания?!

O8
На сайте с 11.07.2016
Offline
64
#6
fargus10:
только хотел написать об этом :)
кто мешает отдельно для поисковиков давать указания?!

Вообще-то я об этом и написал, чуваки вы чего?))

---------- Добавлено 06.02.2018 в 07:07 ----------

burunduk:
у кого он авторитетный? 🤪

На самом деле не только они об этом высказывались, есть и успешные компании создающие коммерческие cms тоже рассуждают в этом духе. Но раз вы так пренебрежительно к Юаст отнеслись, то откройте нам знание о гуру :)

SenSS
На сайте с 05.08.2011
Offline
128
#7
ovi8:
А как вы поступаете?

Игнорирую. Google и сам прочитает, все, что пожелает. Даже отчет об этом пришлет такого вида:

jpg 171014.jpg
O8
На сайте с 11.07.2016
Offline
64
#8
SenSS:
Игнорирую. Google и сам прочитает, все, что пожелает. Даже отчет об этом пришлет такого вида:

Хм, интересно. Скорее всего это для старых/трастовых сайтов либо инфа там очень важна для ПС/пользователей что не смотря на запрет документ проиндексирован.

[Удален]
#9
ovi8:
На самом деле не только они об этом высказывались

ну идиотов много, куда же без них

ovi8:
Но раз вы так пренебрежительно к Юаст отнеслись

а как можно ещё к нубам относится?

O8
На сайте с 11.07.2016
Offline
64
#10
burunduk:
ну идиотов много, куда же без них

а как можно ещё к нубам относится?

Идиоты которые на этом зарабатывают деньги, продавая свои движки, хм. Аргументируйте, почему вы против их мнения.

Да и насчет нубов, популярность их плагина не о чем не говорит? Я не отрицаю, что здесь есть крутые веб-мастера, может и вы один из них, только мнение своего вы так и не высказали, аргументированого

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий