Что мешает сделать этот файл все таки по человечески? Например, так:
User-agent: *
Disallow: /administrator/
Disallow: /bin/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /layouts/
Disallow: /libraries/
Disallow: /logs/
Disallow: /modules/
Disallow: /plugins/
Disallow: /tmp/
Disallow: /noindex/
Crawl-delay: 4
Host: wwww.su
Sitemap: http://www.wwww.su/sitemap.xml
И почему в Host и Sitemap директивах разные поддомены указаны? И интересно, что тогда в сайтмапе отдается, с www или без.
Посмотрите внимательнее, ЧТО именно считается как загруженная страница в БЕТЕ. В отличие от старого Вебмастера, там вповалку как страницы, так и картинки и прочие файлы сайта. То есть любые скачанные с сайта ресурсы. Оттого и такой бешеный перекос цифр.
sndr, звездочка в конце правила не нужна - она "по умолчанию" и так.
А вот если параметры есть у подпапок - вариант Staid самый правильный: Disallow: /*? проверенно рабочий для всех роботов, понимающих регулярки в правилах robots
Скорее в поиск стоит ввести zhopa и jopa и посмотреть, где будут в сниппетах подсвечены русское соответствующее слово. Так оно надежнее.
MS Visio возможно? И прочий софт бля рисования блок-схем, сейчас уже и не помню поименно...
Условные данные можно, например, по similarweb.com
Но это скорее для сайтов с более-менее существенной посещаемостью
полное отсутствие этих данных наблюдаю уже более года... даже по самым популярным запросам.
На http://saitreport.ru в отчетах в том числе и по грамматическим ошибкам постранично есть отчеты
Все реально. "Другие мета-описания" - здесь достаточно приписок к <title>, дескрипшну и кейвордам типа "... ~ Страница N", и программным условием убирать текст с самой страницы.
Уже много лет такое решение является стандартом дефакто, описано вроде еще у Ашманова в книге и много где. И все будет Ок.
Отдельные странички с региональными контактными данными офисов (совершенно не обязательно на поддоменах) + Яндекс.Справочник по каждому из офисов + Месяца три ожидания = необходимые регионы, присвоенные сайту в WMT
