Регулярное выражение помогите составить

Вопрос совсем не понятен? Нужно выбрать его значение или проверить на наличие?

DIMON-UA, а разве выражение не будет в обоих случаях одинаковое? :)

Нет, в первом случае достаточно убедиться, что есть meta name="robots", во втором - выбрать подстроку blabla из <meta name="robots" content="blabla">

Попробуйте так:

preg_match("#<meta name=\"robots\" content=\"(.*?)\">#s", $content, $result)

В онлайне есть онлайн-проверка регекспов: http://www.pcre.ru/eval/

Если пользуетесь PHP, то есть уже готовая функция get_meta_tags()

Пример

<?php

$tags = get_meta_tags('http://www.example.com/');

echo $tags['robots'];

?>

Рекомендую воспользоваться программой для составления и проверки регулярных выражений RegexBuddy: http://www.regexbuddy.com/

get_meta_tags() не подходит. кажется мне что при использовании этой функции скачивается вся страница, а трафик хотелось бы минимизировать

preg_match("#<meta name=\"robots\" content=\"(.*?)\">#s", $content, $result) 

а если не двойные кавычки а одинарные, если буквы не прописные а заглавные?

Пишите одинарные кавычки, для угниверсальности можно сделать условие, что или те, или те.

Для регистронезависимости используйте модификатор i (PCRE_CASELESS)

Документация на модификаторы на русском тут: http://www.pcre.ru/docs/php/text/stdmod/

а как составить такое условие? (robots|ROBOTS) ?

ЭЭЭ, а как иначе? Конечно можно читать половину файла допустим или первые 10 строк, но это по скорости прирост не слишком большой даст

Mefistofel, по РВ ознакомьтесь с материалом:

http://phpclub.ru/detail/article/regexp_1

http://phpclub.ru/detail/article/regexp_2

По всему остальному:

1. я бы сказал, что это не совсем профильный форум, чтобы такие вопросы задавать ;)

2. когда нужна подсказка, пишите хотя бы минимальные исходные данные, а то народ в 100% случаев подразумевает, что Вы на PHP пишете.