OMFG! Очередной сектантский бред. Где вы только берете вещества для такого "расширения сознания"?
Не пори чушь, ламо!
… для целей адаптации и использования стороннего дизайна. Не более. Потому что есть и более печальные варианты... И просто "хорошим" в общем частная приличная реализация чего-либо - не делает.
Ваш Кэп
Разве это еще не вымерло (я именно про пузатые сайты, как явление)?
Столько, сколько по Топ-10 по запросу у конкурентов в среднем (ваш КЭП). Странный вопрос вообще-то, потому что точной цифры нет и не может быть
1. "Правильно заданный вопрос - половина ответа"
2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано
3. "Если ничего не помогает - прочтите наконец документацию"
По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:
robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что
и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы
Если серьезно, то
* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"
* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков
https://www.google.ru/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5%D0%B9+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2&ie=&oe=
А я чё, телепат - не глядя в вебмастер сказать, что там происходит? Все ментаты на каникулах на улке
Да, откуда 304 вообще появится?
Ответ "https://www.goldcar-news.site" → Основной робот Яндекса
Код статуса HTTP 200 OK
Время ответа сервера 690 мс
IP сайта 54.39.157.6
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 63,34 КБ
Server: nginx Date: Mon, 29 Jul 2019 14:09:37 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Link: <https://www.goldcar-news.site/index.php?rest_route=/>; rel="https://api.w.org/" Content-Encoding: gzip
ОтноситЬся - так же. Но для начала понять, что "правильно заданный вопрос - половина ответа". И я смотрел, как спрошено - https://yandex.ru/search/?text=host%3Asampokkm.ru
И да, в поиске он (www.*) вполне уже на месте https://yandex.ru/search/?text=%D0%9E%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%BA%D0%B0%D1%81%D1%81%D0%B0%20host%3Awww.sampokkm.ru
Естественно - да. И получил кластера по 2-4 ключа, хотя "все совсем не так". Кулаковский кластеризатор куда как адекватнее, если мерять только по "сервис" и "бесплатно"
