Помогите с robots.txt

User-agent: Yandex

Allow: /

Disallow: /internet

Allow: /internet/novosti.html

а если к примеру в разделе будет 100 страниц новостей, что придется каждую страницу вписывать в робот.тхт?

Allow: /internet/novosti.html

Allow: /internet/novosti-1.html

Allow: /internet/novosti-2.html

Allow: /internet/novosti-3.html

...............

А по другому никак нельзя?

User-agent: *

Disallow: /internet

Allow: /internet/novosti

Allow: /internet/novosti или Allow: /internet/novosti* по желанию (одно и то же)

пройдут все, которые с этого начинаются. Allow и Disallow воспринимаются как шаблоны, а не конкретные пути (хотя шаблон может подходить и только к одному конкретному файлу).

ЗЫ: "Allow /" нафиг не нужен, это идёт по умолчанию....

Это понятно, но novosti.html novosti-1.html novosti-2.html novosti-3.html это я так придумал...

На самом деле страницы будут с разными именами, например pogoda.html, putin.html, gfdgdfg.html, fhfdg.html... и все эти страницы будут в разделе site.ru/internet/

Как тогда быть? :)

meta robots (тэг в коде) использовать для списка новостей.

нашел в другой подобной теме ответ

Добавьте в robots.txt

Allow: /internet/*.html

Disallow: /internet/

Так можно?

Disallow: /internat/$

- запретит индексацию страницы /internat/

- и резрешит индексацию страниц /internat/любые_символы

что-либо "разрешать" Disallow не может никогда и никак, здесь по факту - всего лишь "не запрещает"...

По факту - запрещает конкретный адрес. Следовательно разрешая не запрещая другие адреса этой маске. Для себя можете сформулировать это предложение как угодно.