- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Здравствуйте.
1 Правильно составлено? Для всех ПС, чтобы всё можно индексировать.
User-agent: *
Disallow:
Host: site.ru
2 Отсюда второй вопрос. host можно так прописать. т.е. не надо ли это писать отдельно для яндекса ? Вот что имею ввиду.
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru
3 Надо ли закрывать, такие папки как adminka, plugins,images, includes, language, templates ?
Читал на этом же форуме, что нужно.Программист говорит нет, т.к. роботы их не находят/не видят Роботы ходят только по ссылкам.
Правильно открыть для всех ПС:
Disallow:
Это тоже правильно, под Яндекс секция должна быть отдельной, тк директива Host: - не стандартная и другие роботы её не понимают (хотя, по правилам, они должны проигнорировать всё непонятное):
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru
Надо ли закрывать, такие папки как adminka, plugins, images, includes, language, templates ?
Закрывать надо, ПС их находят ещё как, например по реферерам. Но админку "палить" в Robots.txt не нужно - туда будут ломится все кому не лень. А ПС её и так не проиндексят, ибо пароля не знают.
PS: Лучше прописать <meta name="ROBOTS" content="none"> в секции <head></head>
1. Все правильно, единственно основное зеркало домена у вас будет site.ru
2. Под каждую поисковую систему писать не обязательно.
3. Админики не надо, лишний повод искусить кул-хацкеров. В некоторых случаях можно исключить папки с имиджами, которы не желательно светить в поиске.
Правильно открыть для всех ПС:
Это тоже правильно, под Яндекс секция должна быть отдельной, тк директива Host: - не стандартная и другие роботы её не понимают (хотя, по правилам, они должны проигнорировать всё непонятное):
Закрывать надо, ПС их находят ещё как, например по реферерам. Но админку "палить" в Robots.txt не нужно - туда будут ломится все кому не лень. А ПС её и так не проиндексят, ибо пароля не знают.
PS: Лучше прописать <meta name="ROBOTS" content="none"> в секции <head></head>
Спасибо!!!!
heellass добавил 28.04.2010 в 16:36
1. Все правильно, единственно основное зеркало домена у вас будет site.ru
2. Под каждую поисковую систему писать не обязательно.
3. Админики не надо, лишний повод искусить кул-хацкеров. В некоторых случаях можно исключить папки с имиджами, которы не желательно светить в поиске.
Спасибо!!!!
Правильно открыть для всех ПС:
Но админку "палить" в Robots.txt не нужно - туда будут ломится все кому не лень. А ПС её и так не проиндексят, ибо пароля не знают.
Я вообще админку не закрываю и даже не добавляю в Роботс. Поисковик не сможет войти, он пароль не знает :D
А другие вообще не должны знать про админку.
Я вообще админку не закрываю и даже не добавляю в Роботс. Поисковик не сможет войти, он пароль не знает :D
А другие вообще не должны знать про админку.
Что можете сказать про другие директории, помимо админки, надо ли их закрывать ?
Мне объясняют, что не надо, т.к. роботы ходят по ссылкам и если не ставить на них ссылки, на эти директории, то индексировать их не будет.
Совсем что-то запутался...
heellass добавил 28.04.2010 в 17:02
Правильно открыть для всех ПС:
Это тоже правильно, под Яндекс секция должна быть отдельной, тк директива Host: - не стандартная и другие роботы её не понимают (хотя, по правилам, они должны проигнорировать всё непонятное):
Закрывать надо, ПС их находят ещё как, например по реферерам. Но админку "палить" в Robots.txt не нужно - туда будут ломится все кому не лень. А ПС её и так не проиндексят, ибо пароля не знают.
PS: Лучше прописать <meta name="ROBOTS" content="none"> в секции <head></head>
Мне объясняют, что другие директории закрывать не обязательно, т.к. роботы ходят по ссылкам и если не ставить на них ссылки, на эти директории, то индексировать их не будет ?
Что можете сказать про другие директории, помимо админки, надо ли их закрывать ?
Ord выше правильно написал - иногда есть смысл закрыть папку /images/ (где лежат картинки-элементы дизайна) - тогда робот-индексатор картинок не будет их индексировать.
А так, программеры правы - совсем "левые" папки можно не закрывать - во многих и индексировать нечего, из них файлы только "инклукдятся" в исполняемые модули.
Закрывать надо страницы для печати, поиск по сайту и прочее, что создает дубли страниц.