вопрос про robots.txt

Disallow: www.site.ru/size/88?

Я имел ввиду что после последнего слеша идёт число любое, потом знак вопроса, а потом любой текст...

не, регулярные выражения движки пока неподдерживают.

Попробуйте в шаблон движка вкрячить что-то такое (в шаблон, в хиад):

<?php

if (count($_GET) == 0 && preg_match('/^\/size\/[0-9]+?.+$/', $_SERVER['REQUEST_URI']))

 echo '<mеta nаme="robots" content="noindex" />';

?>

MasterRico, судя по новым правилам составления robots.txt для Яндекса, все верно.

Но ставьте это только в секции с User-agent: Yandex, а то другие могут не понять.

А вообще JonnyB дело говорит. Его вариант универсальный.

Спасибо за ответы ! )

кто подскажет что именно необходимо вписывать в robots.txt

достаточно просто:

User-agent: *

Disallow:

то есть получается

User-agent: * #относится ко всем роботам

Disallow: #никаких запретов

или надо еще что то там прописывать? может кто даст пример или подскажет что мне надо для обычного сайта, без различных закрытых областей, архивов и т.д.

Самый хороший вариант в твоем случае не делать robots.txt , ты всё равно ничего запрещать не собираешься, просто удали этот файл - не ошибешься...

Или, если для тебя принципиален сам факт наличия robots.txt , пропиши туда что-то типа

User-agent: *
Disallow:/cgi-bin/

User-agent: *
Disallow:/install/

User-agent: *
Disallow:/admin/

но имей ввиду, что это не безопасно

а сколько будет стоить составить описание (готовый файл robots.txt) для моего сайта (простой без наворотов) ?

сам вроде все прочитал, вроде понял, но лучше когда это сделают профи

Если есть лишние деньги, заплати мне :) А вообще это бесплатная опция ;)

Создайте файл robots.txt

с директивами:

User-agent: Yandex

HOST: ваш_домен.ру

Уверен, если вам ничего больше ненужно, то и не заморачивайтесь.

Проверить свой роботс можете здесь: http://www.yandex.ru/cgi-bin/test-robots