Не имеют они никакого, вообще (это официальная позиция обеих ПС, которые имеет смысл рассматривать). Ни для ранжирования, ни для определения релевантности. Просто obsoleted мусор
Проше пани, samimages хотел сказать (я как потомственный шаман перевожу "что сказал" на "что хотел сказать"), что началась страшилка с внутренней перелинковки (а не факт пессимизации за нее), и как все SEO-мифы - фактического обоснуя может не иметь, только мнение очередного модного "иксперда" "я такъ вижу"
Таки нет, только в горячечной бреду
OMFG! Очередной сектантский бред. Где вы только берете вещества для такого "расширения сознания"?
Не пори чушь, ламо!
… для целей адаптации и использования стороннего дизайна. Не более. Потому что есть и более печальные варианты... И просто "хорошим" в общем частная приличная реализация чего-либо - не делает.
Ваш Кэп
Разве это еще не вымерло (я именно про пузатые сайты, как явление)?
Столько, сколько по Топ-10 по запросу у конкурентов в среднем (ваш КЭП). Странный вопрос вообще-то, потому что точной цифры нет и не может быть
1. "Правильно заданный вопрос - половина ответа"
2. Правильно (полно и понятно) написанный заголовок - +100% к шансу того, что сообщение будет открыто и хотя бы прочитано
3. "Если ничего не помогает - прочтите наконец документацию"
По всему этому ответ на вопрос "Составление правильного robots.txt для моего сайта" будет скорее всего таким:
robots.txt включает в себя страницы и маски страниц сайта, которые хозяин-разработчик-автор сайта считает ненужными в индексе поисковых систем по разным причинам, по своим принципам, учитывая что
и на зная сайта, сказать, полный или неполный набор правил, могут только всезнающие "иксперды", но у них сейчас, к сожалению, каникулы
Если серьезно, то
* "Allow /" является бесполезной в контексте директивой, потому как "разрешено все, что явно не запрещено"
* проверить, как сайт будет доступен спайдерам, можно при помощи любого краулера, который понимает и парсит robots.txt - просто просканировать сайт и посмотреть, нет ли чего лишнего в выдаче (что не гаранирует, что это "лишнее" не появится потом в выдаче при помощи внешних ссылок) или же нагуглить "рекомендованный robots.txt для <CMS> <Version>" и думать над результатами поисков
https://www.google.ru/search?q=%D0%BA%D1%83%D0%BF%D0%B8%D1%82%D1%8C+%D0%BF%D1%80%D0%BE%D0%BA%D1%81%D0%B5%D0%B9+%D0%B4%D0%BB%D1%8F+%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3%D0%B0+%D0%BF%D0%BE%D0%B8%D1%81%D0%BA%D0%BE%D0%B2%D0%B8%D0%BA%D0%BE%D0%B2&ie=&oe=
А я чё, телепат - не глядя в вебмастер сказать, что там происходит? Все ментаты на каникулах на улке
