- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Возможно ли запретить индексацию одной страницы посредством robots.txt? Или посредством robots.txt можно запрещать к индексированию лишь только целые директории?
Я знаю, что можно запретить индексацию страницы посредством тега noindex, но все же интересно, можно ли того же самого добиться инструкцией в файле robots.txt?
Возможно ли запретить индексацию одной страницы посредством robots.txt?
IMHO, можно написать примерно так:
При этом страница index.html индексироваться не будет, а все остальное вполне нормально проиндексируется.
нет, если главная страница это ввв домен ру , то Disallow: /index.html - бесполезен,
не проще meta прописать ?
Ошибочка вышла. Между словами User и Agent необходим дефис:
User-Agent: *
Disallow: /index.html
Извиняюсь, прозевал.
Вопрос был о запрете индексации одной страницы. Пример получился неудачный. Пусть будет так:
А вот как будут вести себя роботы, если написать index.html, а ссылки есть как www.domain.ru, так и www.domain.ru/index.html?
А вот как будут вести себя роботы, если написать index.html, а ссылки есть как www.domain.ru, так и www.domain.ru/index.html?
Наиболее логичным способом - они проиндексируют www.domain.ru, но не будут индексировать www.domain.ru/index.html, а т.к. www.domain.ru/index.html поисковику не будет доступен, то он никогда не сможет узнать, что эти адреса - синонимы.
Хотя... конечно в поисковике могут и прописать, что эти адреса синонимичны по умолчанию...
При запрете индексации страниц сайта, Гугл все равно показывает ссылки на эти страницы без каких-либо описаний. Можно предположить, что робот проверяет существование страницы. Таким образом, просто сравнив размеры файлов, например, можно натравливать робота-зеркальщика.
Это скорее похоже на то, что в Яндексе значится как "найдено по ссылке" - робот не смотрит на страницу, но выдает ее потому, что кто-то на нее поставил ссылку. Значит, логично, что такая страница скорее всего есть.
Не совсем так. Надпись "найдено по ссылке" появляется также и у проиндексированных страниц при условии, что ключевые слова из запроса присутствуют только в тексте ссылок на нее, но отсутствуют в тексте самой страницы.
Именно потому я и сказал "похоже". ;)
А вот такой вопрос по robots.txt
Есть директория papka, в них есть куча других директорий p1, p1, ..., p4
В этих поддиректориях есть index.html
Можно как то одной строкой запретить все эти индексы или только перечислять каждый index
Disallow: /papka/p1/index.html
Disallow: /papka/p2/index.html
.............................
Disallow: /papka/pn/index.html
много поддиректорий
Напрягает...
Кто чего посоветует?