К сожалению, варианты будут только для отсева служебных ботов не использующих куки, в остальном боты - нагульщики полностью имитируют пользовательские заходы (используя при этом пользовательские диапазоны IP адресов) и они будут фиксироваться как обычные пользователи.
Других комментариев Яндекс и не даст.
Не совсем так, это нагул профилей. Их задача - собрать тематические посещения (и вы для них являетесь донором).
Многие сталкиваются и для многих это волнительная проблема.
Но сайты - это публичная часть информации и все те заходы, который формально соответствуют пользовательским заходам (несмотря на то, что это боты) - будут фиксироваться как пользовательские сессии.
Продолжайте работать над сайтом. Все сайты, который имеют поисковый трафик так или иначе используются для нагула профилей, поэтому делайте поправку на объём накрученной трафика (если вы его чётко различаете) и работайте дальше.
Пробуйте:
Clean-param: etext /cat/
Посмотрите на ссылочное этого домена, если там несколько десятков хороших ссылок и эти ссылки на постоянной основе (как статьи или прямые рекомендации), то имеет смысл купить.
В плане ранжирования этого никакого заметного плюса не даст, но с другой стороны, если предположить, что допустим, вы часто читаете какое-то СМИ и в очередной раз, используя запрос видите рядом с заголовком названием сайта к которому вы лояльны, то это определённо может влиять на кликабельность.
Можно провести тесты и поэкспериментировать на этот счёт, но для этого должно быть зрелое, раскрученное СМИ c большой посещаемостью и с хорошей аудиторией.
Я имею ввиду (выше говорил и повторюсь), что файл robots.txt важно иметь физически на сервере, чтобы в считанные секунды внести в него изменения, когда это нужно, без необходимости заходить в CMS, запускать плагин, в плагине искать соответствующее поле...
Что касается общей практики использования - это быстрее и лучше.
см. ответы выше, предыдущие обоснования по плюсам/минусам приведены.
Нормально работающие плагины свободно работают с физ. файлом robots.txt и вносят изменения без проблем. Дополнительные условности о том, что у кого-то как-то иначе можно обсуждать бесконечно.
Тема исчерпана :)
Исправлено.
На самом деле зависит. Контекст определяет тенденции.
Это раздел для новичков по оптимизации и здесь совет вполне конкретный - не создавать себе доп. программных преград в доступе к основному файлу, который будет использоваться в работе. Поэтому новичок не вполне себе представляет весь возможный спектр задач, с которым ему скорее всего придётся столкнуться.
Поиграться/посмотреть SEO плагины конечно полезно и возможно даже нужно, чтобы иметь представление о их функциональности, но в целом, прямой доступ к файлу robots.txt желательно и обязательно иметь в прямом виде.
И спорить тут действительно не о чем. Главное дать понять TC, что доступ должен быть и свободное редактирование файла тоже. В остальном, каждый может изгаляться в работе со своей CMS как угодно, хоть усилием воли вносить правки :)
Смотрим внимательно на то как называется раздел в котором мы беседуем (указано слева) и не порем горячку ;)
Снести тогда этот плагин нафик, который не может нормально обеспечить работу.
Совершенно верно. Если вы по каким-то причинам не сможете зайти в панель управления CMS и запустить плагин, которые эмулирует поддержку robots.txt, то вы и не сможете поменять данные в случае необходимости.
Всегда проще зайти напрямую на хостинг (или через ftp) и вручную обычным текстовым редактором его отредактировать.
К слову, это даже быстрее.
Это смотря с какой точки зрения. С точки зрения вопросов оптимизации (смотрим на актуальный раздел) - должен быть.
С точки зрения практики использования CMS, конечно можно накрутить и использовать какие угодно схемы его поддержки.
Это предупреждение является каким-то непреодолимым препятствием?
Из нескольких плагинов, которые я видел (и которые по большому счёту совершенно не нужны опытному специалисту) - просто перезаписывали его содержимое. Что с плагином, что без плагина, что при желании - вообще без CMS файл robots.txt в своём физическом присутствии актуален, будь он хоть в паре со статичным файлом index.html
