Это ерунда, не верь. И удали.
cheredov добавил 10.08.2011 в 00:12
Потому правило
Disallow: /modules/
не подходит для урла типа
http://stand-in-beauty.ru/modules/mod_simpleform2/engine.php?task=captcha&moduleID=40&rand=27521&rand=
cheredov добавил 10.08.2011 в 00:13
Хотя... подходит... еще может потому, что robots.txt носит рекомендательный характер.
ставь последним Disallow
cheredov добавил 10.08.2011 в 00:06
А это зачем?
В robots.txt
Disallow: /*/mod_simpleform2/*
Точно, это не дубли. Это страницы типа http://www.google.ru/url?sa=t&source=web&cd=103&ved=0CB0QFjACOGQ&url=http%3A%2F%2Fstand-in-beauty.ru%2Fmodules%2Fmod_simpleform2%2Fengine.php%3Ftask%3Dcaptcha%26moduleID%3D40%26rand%3D31846%26rand%3D&ei=849BTo_iNsfRsgaD4LzjBw&usg=AFQjCNFePtymerMgcTHLAYbJ6hcofWefHA&sig2=SOAm4tt7p5lwJXZtk2gwJA
cheredov добавил 09.08.2011 в 23:56
Их по хорошему запретить к индексации, чтобы вам не путаться
cheredov добавил 09.08.2011 в 23:58
Кстати такие страницы и на 3-ей есть и их ровно 6 ;)
Обычно перетекает. Пропишите еще host в robots.txt сначала.
очень увлекательно.
Это само по себе чушь, уж извините.
cheredov добавил 09.08.2011 в 23:42
Вы знаете что такое прокси?
Это дубли страниц. они сами отвалятся через некоторое время.
+1 поставила молодец, я плюснул
Можно запретить цифры например
cheredov добавил 09.08.2011 в 21:18
не нужно, что задали в условии то и написал )))
cheredov добавил 09.08.2011 в 21:19
строка заканчивается чем угодно - офигенное правило я написал конечно, но что ТС надо то?
Вы понимаете, что * - это любая последовательность символов. Вам что надо то?
