- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Кстати, Allow команда существует, но ТОЛЬКО для ГУГЛА!!!
Это ответ на
если написано вот в таком виде:
Disallow: /dir/ - запрет индексации директории dir
а если вот так
Disallow: /dir - запрет индексации всех файлов и директорий, начинающихся с dir
а если есть много страниц, которые необходимо закрыть от индексации, но нельзя перенестив отдельную папку и закрыть только её - необходимо каждую страницу в роботсе прописать ? и если их больше 100 всё будет нормально ?
или можно ли только тег прописать на этих страницах noindex, не указывая их в роботсе - цель закрыть контент этих страниц от индексации, т.к. онне уникальный..
*надеюсь правильно объяснился
help me.. *up
Тогда уж не тег <noindex></noindex> (потому что его учитывает только Яндекс), а тег:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Но у этого метода есть недостаток, страница будет скачена. А при запрете в robots.txt запрещенные страницы качаться не будут, что будет экономить трафик.
Не знаю предел записей в robots.txt для разных ПС (по стандарту он ограничений не имеет), но до 1000 записей в robots.txt я думаю, что ПС потянут.
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">
Но у этого метода есть недостаток, страница будет скачена. А при запрете в robots.txt запрещенные страницы качаться не будут, что будет экономить трафик.
Не знаю предел записей в robots.txt для разных ПС (по стандарту он ограничений не имеет), но до 1000 записей в robots.txt я думаю, что ПС потянут.
спасиба за ответ :)
в принципе было бы достаточно только для Яндекса, т.к. по другим П.С. получше дела..
а вот про предел как раз то что мне и нужно..и раз уж вы думаете что 1000 нормально - то для меня этого достаточно будет )
*проблем страфиком пока небыло, а вот времени прописать в роботсе кажется времен меньше уйдёт чем прописывать на каждой странице теги..
Зачем убирать индексацию с уникального контента?
Зачем убирать индексацию с уникального контента?
А кто убирает?
что 1000 нормально - то для меня этого достаточно будет
Сделайте короче:
Пихаем страницы в подкаталог и запрещаем его к индексации. Все.
или как в #7 сказано, перечислите все буквы, включая Disallow: /i вам же не нужно индексить лишнее зеркало ццц.сайт.ру/index.htm и поиндексится ццц.сайт.ру (или сайт.ру без ццц.), а то придётся дописать позже.
(это разные адреса, хотя и ведут на одну страницу. Ссылайтесь внутри: <a href="/">главная</a> или <a href="../">главная</a> если из подкаталога)