Вы видимо не понимаете. В файле на один поисковик лучше всего делать один блок инструкций. Ваш случай - два блока на поисковик * :) всмысле на все. Это избыточно и возможны баги.
А то, что задержку надо ставить после дизаллоу - во-первых она и так у вас после, а во вторых из описаний формата файла естественно.---------- Добавлено 12.06.2016 в 13:58 ----------Вот альтернатива с блоками под два поисковика:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /noindex/
User-agent: Yandex
Crawl-delay: 4
Host: wwww.su
Sitemap: http://www.wwww.su/sitemap.xml---------- Добавлено 12.06.2016 в 13:58 ----------Но в данном случае, коль скоро регэкспы в Disallow Вы не используете - это совершенно не нужно.---------- Добавлено 12.06.2016 в 14:01 ----------Смотрим хелп https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#crawl-delay
Второй их пример - после Disallow, и не важно совершенно, запрещает она что-то или нет.
Аналогично про Host - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml#host
По моему все предельно понятно.
Что мешает сделать этот файл все таки по человечески? Например, так:
Sitemap: http://www.wwww.su/sitemap.xml
И почему в Host и Sitemap директивах разные поддомены указаны? И интересно, что тогда в сайтмапе отдается, с www или без.
Посмотрите внимательнее, ЧТО именно считается как загруженная страница в БЕТЕ. В отличие от старого Вебмастера, там вповалку как страницы, так и картинки и прочие файлы сайта. То есть любые скачанные с сайта ресурсы. Оттого и такой бешеный перекос цифр.
sndr, звездочка в конце правила не нужна - она "по умолчанию" и так.
А вот если параметры есть у подпапок - вариант Staid самый правильный: Disallow: /*? проверенно рабочий для всех роботов, понимающих регулярки в правилах robots
Скорее в поиск стоит ввести zhopa и jopa и посмотреть, где будут в сниппетах подсвечены русское соответствующее слово. Так оно надежнее.
MS Visio возможно? И прочий софт бля рисования блок-схем, сейчас уже и не помню поименно...
Условные данные можно, например, по similarweb.com
Но это скорее для сайтов с более-менее существенной посещаемостью
полное отсутствие этих данных наблюдаю уже более года... даже по самым популярным запросам.
На http://saitreport.ru в отчетах в том числе и по грамматическим ошибкам постранично есть отчеты
Все реально. "Другие мета-описания" - здесь достаточно приписок к <title>, дескрипшну и кейвордам типа "... ~ Страница N", и программным условием убирать текст с самой страницы.
Уже много лет такое решение является стандартом дефакто, описано вроде еще у Ашманова в книге и много где. И все будет Ок.
