Что означает эта конструкция в robots?

Для индексации доступна только главная страница. Хотя я не прав, запрещены только вложенные каталоги.

provocator

А почему нельзя было обойтись одним /* ?

Потому что символ * на конце и так ставится по умолчанию, т.е., при указанной конструкции сайт будет запрещен к индексации полностью

Бредовая конструкция.

По суть она запрещает все что содержит хотя бы один обратный слэш

В регулярном выражение это выглядит так:

Disallow: /(.*)/(.*)

по идее нет разницы как написать

Disallow: /

или

Disallow: /*/*

Разница есть. Другое дело, что можно слегка упростить и вместо Disallow: /*/* прописать:

Disallow: /*/

Разница будет, например

category - будет разрешен для индексации

category/ - запрешен

Есть разница.

_site.ru/ - не попадает под вторую директиву

_site.ru/botva - не попадает под вторую директиву

_site.ru/botva/ - попадает

_site.ru/botva/botva/botva/ppz/ - попадает

Т.е., получается, что такое может подойти, например, для форума.

http://site.ru/

http://site.ru/userlist.php

http://site.ru/search.php

http://site.ru/viewforum.php?id=9

http://site.ru/viewtopic.php?id=1836&p=48

И где в перечисленном хотя бы два слеша?