- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Зачем быть уникальным в мире, где все можно скопировать
Почему так важна уникальность текста и как она влияет на SEO
Ingate Organic
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Правильно ли я понимаю, что robots.txt такого вида разрешает индексацию сайта в Яндексе, кроме страницы www.site.ru/about/, а для остальных ПС запрещает индексацию?
User-agent: Yandex
Disallow: /about/
Host: www.site.ru
User-agent: *
Disallow: /
Ответ, да. Правильно..... почти.
Уточню только что в случае со строкой под Яндекс будут запрещены к индексации также все страницы/урлы содержащие /about/ , то есть:
Если нужно закрыть только эту папку www.site.ru/about/ то нужно написать так:
Disallow: site.ru/about/$
Disallow: site.ru/about/$
А если сделать так - Disallow: www.site/about ? В этом случаю я закрываю и директорию about и страницу начинающуюся с about?
Ответ, да. Правильно..... почти.
Уточню только что в случае со строкой под Яндекс будут запрещены к индексации также все страницы/урлы содержащие /about/ , то есть:
Код:
www.site.ru/about/
www.site.ru/2/about/
www.site.ru/category/213/about/
Если нужно закрыть только эту папку www.site.ru/about/ то нужно написать так:
Disallow: site.ru/about/$
Не неси пургу ...
Приведённые тобой урл будут запрещены при таком раскладе:
Disallow: /*about/
Учи матчасть: http://help.yandex.ru/webmaster/?id=996567
Не неси пургу ...
Приведённые тобой урл будут запрещены при таком раскладе:
Disallow: /*about/
Учи матчасть: http://help.yandex.ru/webmaster/?id=996567
Сорри. Да, ты прав. Дело было вечером..заработался немного.
Приведённые мной примеры действительно будут закрыты в случае:
Disallow: /*about/
Но в остальном я написал всё верно. То есть если FoxArt08 хочет закрыть только каталог, то нужно писать так:
Disallow: /about/$
Не забывайте только, что остальные поисковые системы как правило не обращают внимание на robot.txt. Одекватно воспринимает его только яша.
Не забывайте только, что остальные поисковые системы как правило не обращают внимание на robot.txt. Одекватно воспринимает его только яша.
Не согласен. Адекватно данный файл воспринимают все нормальные поисковики: Яша, Гугл и проч. Не воспринимать могут только те, внимание которых в принцыпе и не нужно, так как трафика они особо не имеют :)
Но в остальном я написал всё верно. То есть если FoxArt08 хочет закрыть только каталог, то нужно писать так:
Disallow: /about/$
Интересно. Какой смысл закрывать только саму директорию? Её закрывают, чтобы закрыть файлы (страницы) в ней. А какой смысл от этой записи?
остальные поисковые системы как правило не обращают внимание на robot.txt. Одекватно воспринимает его только яша.
На robot.txt и Яндекс должным образом реагировать не будет. ;)
остальные поисковые системы как правило не обращают внимание на robot.txt. Одекватно воспринимает его только яша.
На robot.txt и Яндекс должным образом реагировать не будет
robot.txt ))) Одекватно не будет ...