Нужно посоветоваться по disalow в robots.txt

Я так понимаю нужно запретить индексировать страницы типа

www.asdf.ru/zhenskaya_obuv/asdf/fdsa

www.asdf.ru/zhenskaya_obuv/asdf/

но сама страница www.asdf.ru/zhenskaya_obuv/ индексироваться должна? Если да то поможет:

Disallow: /asdf/

Это запретит индексировать все адреса в которые содержат выражение /asdf/

вот здесь пример отличный - http://www.google.com/robots.txt

* означает именно то, что тебе надо

варианты типа

Disallow: /*/asdf/

запретит все страницы любого уровня вложенности, которые содержат /asdf/

robots.txt

User-agent: *

Allow: /zhenskaya_obuv/$

Disallow: /zhenskaya_obuv/

У Яндекса и Гугла есть инструменты проверки синтаксиса

http://webmaster.yandex.ru/robots.xml

У Гугла после добавления сайта в google.com/webmasters

Ещё как вариант, использовать на тех страницах, что должны быть запрещены к индексации

<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

У меня на сайте: http://www.sitedelkinm.ru пропала индексация некоторых страниц,

в файле robots поставил disalow/*, то есть звездочку. Потом убрал ее.

Вопрос появяться ли страницы, которые были запрещены в индексе, и что нужно сделать для индексации случайно запрещенных страниц?

Это что было?

Если

часть URL, то могу сказать, что disalow/* и disalow/ - одинаковы по сути, то есть, ничего не изменится.

Напишите, какие разделы хотите закрыть, а какие - оставить открытыми для индексации

Это рецепт, как избавить себя от мук SEO, выкинув сайт из индекса :)

Одноклассник что ли? Что это за набор символов?

Насчёт второго - попытка пошутить) Понятия не имею, что подразумевалось под этими символами

А что насчёт первого - скажете, что

Disallow: /url/

и

Disallow: /url/*

не одно и то же?

Одно.

А это что?