Здравствуйте! Могу ли сделать директиву "Allow" для конкретных картинок?

12
T
На сайте с 24.01.2021
Offline
3
#11
SeVlad #:
Серьёзно? А какие "технические" страницы у тебя индексируется?
Я просто пока учусь и поэтому интересуюсь, как правильно мне нужно сделать. Я проверял сайт через mobile-friendly, он показал мне, как видит сайт робот и рекомендовал открыть доступ к шрифтам и некоторым картинкам и gif. Этой директивой " Disallow: /wp-" я хотел закрыть эти папки:

Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
SeVlad
На сайте с 03.11.2008
Offline
1609
#12
tretyakdim #:
Этой директивой " Disallow: /wp-" я хотел закрыть эти папки:

А на кой это делать ты подумал?

Я понимаю что ты не знаешь что ПС надо давать индексировать, но что там может проиндексироваться - тяжело подумать?

tretyakdim #:
 как правильно мне нужно сделать

Правильно - выкинуть всё и посмотреть что ВП сгенерирует сам.

Потом это скопировать в файл и положить его в корень.

Разве что

Disallow: /wp-json/

к этому добавить, но и это может быть не обязательно.

Дальше зависит от сайта - нужно смотреть что лично тебе не нужно из доступного для ПС.

Делаю хорошие сайты хорошим людям. Предпочтение коммерческим направлениям. Связь со мной через http://wp.me/P3YHjQ-3.
T
На сайте с 24.01.2021
Offline
3
#13
SeVlad #:

Я понимаю что ты не знаешь что ПС надо давать индексировать, но что там может проиндексироваться - тяжело подумать?

Получаться, что я закрыл от индексации всё и через это бот неправильно видит контент на сайте https://prnt.sc/119xpsd? Я уженаверноенадоел Вам, благодарю за советы, пойду учить дальше. Возможно закажу у Вас разработку сайта!

Скриншот
Скриншот
  • prnt.sc
Снято с помощью Lightshot
SeVlad
На сайте с 03.11.2008
Offline
1609
#14
tretyakdim #:
Получаться, что я закрыл от индексации всё и через это бот неправильно видит контент на сайте 

Не то, чтобы "всё", но много нужного. Да, из-за этого ПСы будут ругаться.

Запомни простую вещь: закрывать запрещать надо только то, что может попало в индекс, но оно там не нужно. А поскольку ты сам ещё не знаешь что тебе надо/не надо, то и ничего запрещать не надо.  Попадёт не нужное  - запретишь.

И ещё запомни: роботс - это не 100%й запрет, а всего ли рекомендация для ПС. Они всё равно ходят везде где могут и могут показать в выдаче не смотря на запрет в роботсе.

The Web Robots Pages
  • www.robotstxt.org
Web Robots (also known as Web Wanderers, Crawlers, or Spiders), are programs that traverse the Web automatically. Search engines such as Google use them to index the web content, spammers use them to scan for email addresses, and they have many other uses. On this site you can learn more about web robots.
12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий