Lazy Badger

OMFG! Очередной сектантский бред. Где вы только берете вещества для такого "расширения сознания"?

Не пори чушь, ламо!

… для целей адаптации и использования стороннего дизайна. Не более. Потому что есть и более печальные варианты... И просто "хорошим" в общем частная приличная реализация чего-либо - не делает.

Ваш Кэп

Разве это еще не вымерло (я именно про пузатые сайты, как явление)?

Столько, сколько по Топ-10 по запросу у конкурентов в среднем (ваш КЭП). Странный вопрос вообще-то, потому что точной цифры нет и не может быть

1. "Правильно заданный вопрос - половина ответа"

2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано

3. "Если ничего не помогает - прочтите наконец документацию"

По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:

robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что

и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы

Если серьезно, то

* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"

* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков

https://www.google.ru/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5%D0%B9+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2&ie=&oe=

А я чё, телепат - не глядя в вебмастер сказать, что там происходит? Все ментаты на каникулах на улке

Да, откуда 304 вообще появится?

Ответ "https://www.goldcar-news.site" → Основной робот Яндекса

Код статуса HTTP 200 OK

Время ответа сервера 690 мс

IP сайта 54.39.157.6

Кодировка UTF-8(unicode-1-1-utf-8, UTF8)

Размер страницы 63,34 КБ

Server: nginx

Date: Mon, 29 Jul 2019 14:09:37 GMT

Content-Type: text/html; charset=UTF-8

Transfer-Encoding: chunked

Connection: keep-alive

Link: <https://www.goldcar-news.site/index.php?rest_route=/>; rel="https://api.w.org/"

Content-Encoding: gzip

ОтноситЬся - так же. Но для начала понять, что "правильно заданный вопрос - половина ответа". И я смотрел, как спрошено - https://yandex.ru/search/?text=host%3Asampokkm.ru

И да, в поиске он (www.*) вполне уже на месте https://yandex.ru/search/?text=%D0%9E%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%BA%D0%B0%D1%81%D1%81%D0%B0%20host%3Awww.sampokkm.ru

Естественно - да. И получил кластера по 2-4 ключа, хотя "все совсем не так". Кулаковский кластеризатор куда как адекватнее, если мерять только по "сервис" и "бесплатно"