1. "Правильно заданный вопрос - половина ответа"
2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано
3. "Если ничего не помогает - прочтите наконец документацию"
По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:
robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что
и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы
Если серьезно, то
* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"
* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков
https://www.google.ru/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5%D0%B9+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2&ie=&oe=
А я чё, телепат - не глядя в вебмастер сказать, что там происходит? Все ментаты на каникулах на улке
Да, откуда 304 вообще появится?
Ответ "https://www.goldcar-news.site" → Основной робот Яндекса
Код статуса HTTP 200 OK
Время ответа сервера 690 мс
IP сайта 54.39.157.6
Кодировка UTF-8(unicode-1-1-utf-8, UTF8)
Размер страницы 63,34 КБ
Server: nginx Date: Mon, 29 Jul 2019 14:09:37 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: keep-alive Link: <https://www.goldcar-news.site/index.php?rest_route=/>; rel="https://api.w.org/" Content-Encoding: gzip
ОтноситЬся - так же. Но для начала понять, что "правильно заданный вопрос - половина ответа". И я смотрел, как спрошено - https://yandex.ru/search/?text=host%3Asampokkm.ru
И да, в поиске он (www.*) вполне уже на месте https://yandex.ru/search/?text=%D0%9E%D0%BD%D0%BB%D0%B0%D0%B9%D0%BD-%D0%BA%D0%B0%D1%81%D1%81%D0%B0%20host%3Awww.sampokkm.ru
Естественно - да. И получил кластера по 2-4 ключа, хотя "все совсем не так". Кулаковский кластеризатор куда как адекватнее, если мерять только по "сервис" и "бесплатно"
Не пишите дилетантский бред, любезный - может и посчитают за умного
Cierra la boca, cerdo joven
Не порите чушь, ей больно. Или формулируйте на трезвую голову, а не как сейчас - пьяную невнятицу, которую надо еще расшифровать
Нет. Вы просто совсем не в теме и путаете теплое с мягким. Использование Коннекта, расположение зон домена, в котором используется Коннект - совершенно несвязанные вещи.
А вот использование ДНС Яндекса - это большая ошибка, да. Хотя правке зоны она не должна мешать. Хотите больше деталей и конкретики - просите в ЛС помочь (для начала с указанием просто имени домена) суффикса или меня: я других вменяемых хостмастеров тут не знаю (даже если и есть), а про чисто конкретно ДНС Яндекса любитель хрюш знает еще больше меня всякого разного
Но может быть смешно, если яндексоиды для своего ДНС-сервиса "забыли" возможность добавления в зоны NS glue-records. Хотя я пока и не понимаю, в чем сложности Зорро
Devvver, дерьмовый кластеризатор. Одно название, а не кластеры---------- Добавлено 28.07.2019 в 21:44 ----------
А гугль уже запретили или модные пацики думать не умеют, только на форуме спрашивать?
https://www.google.ru/search?q=%D1%81%D0%B5%D1%80%D0%B2%D0%B8%D1%81+%D0%BA%D0%BB%D0%B0%D1%81%D1%82%D0%B5%D1%80%D0%B8%D0%B7%D0%B0%D1%86%D0%B8%D0%B8+%D0%A1%D0%AF&ie=&oe=
"Кластеризатор" в Just-Magic
Кластеризатор Кулакова (умеет только hard, поэтому не пользую)
Rush Analytics
Serpstat
Топвизор
SE Ranking
be1
десктопный кейассорт (чисто мышиный интерйес конечно ужас, но кластеризует вменяемо и как нужно, а не "как получилось", так что альтернативы /мне/ как-то больше и не нужны, разве что чекушинский стоит внимания)
Если применить голову по прямому назначению, то
https://www.google.ru/search?q=site%3Aqaru.site&ie=&oe= - "About 3,990,000 results"
https://www.google.ru/search?q=site%3Acoredump.su&ie=&oe= - "About 21,600 results"
Ну а если юзер ищет в этой теме Яндексом, то ССЗБ и кто ж ему доктор?
