- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Кстати, Allow команда существует, но ТОЛЬКО для ГУГЛА!!!
Это ответ на
если написано вот в таком виде:
Disallow: /dir/ - запрет индексации директории dir
а если вот так
Disallow: /dir - запрет индексации всех файлов и директорий, начинающихся с dir
а если есть много страниц, которые необходимо закрыть от индексации, но нельзя перенестив отдельную папку и закрыть только её - необходимо каждую страницу в роботсе прописать ? и если их больше 100 всё будет нормально ?
или можно ли только тег прописать на этих страницах noindex, не указывая их в роботсе - цель закрыть контент этих страниц от индексации, т.к. онне уникальный..
*надеюсь правильно объяснился
help me.. *up
Тогда уж не тег <noindex></noindex> (потому что его учитывает только Яндекс), а тег:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Но у этого метода есть недостаток, страница будет скачена. А при запрете в robots.txt запрещенные страницы качаться не будут, что будет экономить трафик.
Не знаю предел записей в robots.txt для разных ПС (по стандарту он ограничений не имеет), но до 1000 записей в robots.txt я думаю, что ПС потянут.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Но у этого метода есть недостаток, страница будет скачена. А при запрете в robots.txt запрещенные страницы качаться не будут, что будет экономить трафик.
Не знаю предел записей в robots.txt для разных ПС (по стандарту он ограничений не имеет), но до 1000 записей в robots.txt я думаю, что ПС потянут.
спасиба за ответ :)
в принципе было бы достаточно только для Яндекса, т.к. по другим П.С. получше дела..
а вот про предел как раз то что мне и нужно..и раз уж вы думаете что 1000 нормально - то для меня этого достаточно будет )
*проблем страфиком пока небыло, а вот времени прописать в роботсе кажется времен меньше уйдёт чем прописывать на каждой странице теги..
Зачем убирать индексацию с уникального контента?
Зачем убирать индексацию с уникального контента?
А кто убирает?
что 1000 нормально - то для меня этого достаточно будет
Сделайте короче:
Пихаем страницы в подкаталог и запрещаем его к индексации. Все.
или как в #7 сказано, перечислите все буквы, включая Disallow: /i вам же не нужно индексить лишнее зеркало ццц.сайт.ру/index.htm и поиндексится ццц.сайт.ру (или сайт.ру без ццц.), а то придётся дописать позже.
(это разные адреса, хотя и ведут на одну страницу. Ссылайтесь внутри: <a href="/">главная</a> или <a href="../">главная</a> если из подкаталога)