andruhhh: В последний ап проиндексировались страницы такого типа: http://сайт.ru/раздел/страница.html/feed (Комментарии на: .......) хотя в robots.txt прописано ... Disallow: */feed/ Disallow: */comments/ Disallow: /?feed=
У тебя ссылка без слеша, а в правиле со слешем на конце. Так?
Если основная тематика сайта - науки (разнообразные статьи на тему биология физика и т.д)
Все свои учебники что ли отсканировал?
<span><?php echo $module->title; ?></span>
В общем-то да. Вы считаете, что нужно в правиле добавить слеш?
Он там есть. А в ссылке его нет.
Это правило не запрещает индексировать данную ссылку.
Расскажи что-нибудь хорошее о Гитлере. Послушаем.
В последний ап проиндексировались страницы такого типа:
http://сайт.ru/раздел/страница.html/feed (Комментарии на: .......)
хотя в robots.txt прописано
...
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
У тебя ссылка без слеша, а в правиле со слешем на конце. Так?
smart maneger, удали его совсем. Что будет открываться? А потом залей.
Никого не будет.
Я не знаю что тебе нужно, так как ты объяснять не умеешь. Но тебе что-то нужно открыть, а что-то закрыть. В чём проблема? Используй Allow, Disallow.
Те закрой, а эту открой. В чём проблема?
smart maneger, а не проще ссылку дать. С утра астральные связи слабоваты.