что закрывть от индексации?

Спс Ingvarr поиск по сайту отсутствует :)

piligrimm добавил 01.09.2010 в 16:44

Чтобы понятней было и вам и мне, выложу файлы, находящиеся в корневом каталоге:

classes

css

files

images - здесь графика диза, а не фото

includes

js

jscripts

pages

science

stat

webstat

atack.php

bstyle.css

favicon.ico

user.css

буду очень признателен, если кто-то подскажет какие каталоги нужно вносить в Disallow

заранее благодарю за помощь!

ps дублей страниц и поиска по сайту нет

Нужно не каталоги и изображения запрещать к индексации, а html и php файлы.

Записи вида:

Disallow: /stat/

Используются для объединения всех страниц в каталоге.

Если на странице содержится полезный контент (статьи, обзоры, обсуждения) - оставляем ее для поисковика.

Если же она содержит служебную информацию, которая бесполезна для посетителей вашего сайта, запрещайте ее к индексации.

Например, страницы статистики, поиска, профили пользователей, админка итд

Почитайте: http://robotstxt.org.ru/

piligrimm, что же за дизайн такой у вас, что его нужно прятать 🍾

а какой смысл его индексировать )