- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
Сейчас обнаружил в Yahoo, что он проиндексировал robots.txt и это есть в поисковой выдаче.
А как закрыть сам robots от индексации?
Сейчас обнаружил в Yahoo, что он проиндексировал robots.txt и это есть в поисковой выдаче.
А как закрыть сам robots от индексации?
Такого еще не встречал ) Рассмешили. Ребят, поддерживаю, такой вопрос поставил меня в тупик...
Сейчас обнаружил в Yahoo, что он проиндексировал robots.txt и это есть в поисковой выдаче.
А как закрыть сам robots от индексации?
User-Agent: Yahoo! Slurp
Disallow: /robots.txt
---------- Добавлено 23.12.2014 в 14:34 ----------
Такого еще не встречал ) Рассмешили. Ребят, поддерживаю, такой вопрос поставил меня в тупик...
запись
Disallow: /
так же закроет файл robots.txt, он обрабатывается и сайт как правило вылетает из индекса.
Здравствуйте, у меня в одной директории находится основной домен и папки с поддоменами. Скажите пожалуйста, как можно запретить индексацию всех находящихся поддоменов в этой папке, не прописывая в каждом поддомене запрет в файле robots.txt и не перечисляя в robots.txt основного домена запреты на все существующие поддомены? Тоесть может быть существует какое-то регулярное выражение для файла robots.txt или для .htaccess? Но при этом чтобы папки основного домена и все его файлы были разрешены для индексации. На Яндексе в разделе про настройку файла robots.txt ничего про это не написано. Спасибо.
у меня в роботсе есть строчка Disallow: /wp-content/cache/
я использую плагин кеширования и не знаю как быть, оставить ее или удалить?
Здравствуйте, у меня в одной директории находится основной домен и папки с поддоменами. Скажите пожалуйста, как можно запретить индексацию всех находящихся поддоменов в этой папке, не прописывая в каждом поддомене запрет в файле robots.txt и не перечисляя в robots.txt основного домена запреты на все существующие поддомены? Тоесть может быть существует какое-то регулярное выражение для файла robots.txt или для .htaccess? Но при этом чтобы папки основного домена и все его файлы были разрешены для индексации. На Яндексе в разделе про настройку файла robots.txt ничего про это не написано. Спасибо.
Если речь о robots.txt, то в поддомены нужно положить файл полностью закрывающий индексацию:
User-agent: *
Disallow: /
---------- Добавлено 29.12.2014 в 12:23 ----------
у меня в роботсе есть строчка Disallow: /wp-content/cache/
я использую плагин кеширования и не знаю как быть, оставить ее или удалить?
Я бы оставил строчку.
Здравствуйте, помогите пожалуйста разобраться. Есть три сайта, первый на домне mysite.ru, второй и третий на поддоменах site2.mysite.ru и site3.mysite.ru. На все сайты сделал robots.txt, для каждого сайта свой собственный файл с отдельными настройками. При просмотре на Яндекс-вебмастере и в адресной строке браузеров, сайт на домене mysite.ru клеит robots.txt от сайта на поддомене site2.mysite.ru. Сайты на поддоменах site2.mysite.ru и site3.mysite.ru открывают свои robots.txt как надо. Помогите пожалуйста разобраться, в чем причина и как решить эту проблему???
Здравствуйте, помогите пожалуйста разобраться. Есть три сайта, первый на домне mysite.ru, второй и третий на поддоменах site2.mysite.ru и site3.mysite.ru. На все сайты сделал robots.txt, для каждого сайта свой собственный файл с отдельными настройками. При просмотре на Яндекс-вебмастере и в адресной строке браузеров, сайт на домене mysite.ru клеит robots.txt от сайта на поддомене site2.mysite.ru. Сайты на поддоменах site2.mysite.ru и site3.mysite.ru открывают свои robots.txt как надо. Помогите пожалуйста разобраться, в чем причина и как решить эту проблему???
с чего вы решили, что он их клеит?
хосты разные стоят в каждом из роботсов?
Здравствуйте. Гугл в панели вэбмастера сообщает мне о том, что у него нет доступ к моему файлу robots.txt. Яндекс его видит. Искал ответ на различных форумах, все говорят, что это на хостинге стоят какие то блокировки. Написал в тех поддержку, они это опровергнули.
С чем это может быть связанно?
у вас robots.txt доступен по прямому адресу?
типа: сайт.ру/robots.txt
Страница: /support/partner/ - должна быть открыта
Подстраницы: /support/partner/все-что-угодно - должны быть закрыты
как это прописать в роботсе, друзья?