dadiman: Здравствуйте, у меня в одной директории находится основной домен и папки с поддоменами. Скажите пожалуйста, как можно запретить индексацию всех находящихся поддоменов в этой папке, не прописывая в каждом поддомене запрет в файле robots.txt и не перечисляя в robots.txt основного домена запреты на все существующие поддомены? Тоесть может быть существует какое-то регулярное выражение для файла robots.txt или для .htaccess? Но при этом чтобы папки основного домена и все его файлы были разрешены для индексации. На Яндексе в разделе про настройку файла robots.txt ничего про это не написано. Спасибо.
Если речь о robots.txt, то в поддомены нужно положить файл полностью закрывающий индексацию:
User-agent: *
Disallow: /
---------- Добавлено 29.12.2014 в 12:23 ----------
Tison: у меня в роботсе есть строчка Disallow: /wp-content/cache/
я использую плагин кеширования и не знаю как быть, оставить ее или удалить?
IBakalov: А кто-нибудь встречал отображение твиттов и прочего для "обычных" сайтов? Не всяких там ютубов и жж, не супер новостных сайтов (аля первый канал), а для коммерческих ресуросов?
да, у любого сайта - это выдача быстроробота залайкнутая социалками. В сохраненке посмотри параметр FT.
sas7110: То есть я могу так оставлять? Там же в папке получается много разных месяцов и дней, они тоже все закроются? Или нужно написать так:
Disallow: /2014/*
Disallow: /2015/*
Disallow: /2016/*
Просто хочу уточнить и сделать правильно все.
sas7110: Здравствуйте, ребята, сайт на DLE, есть страницы, которые не нужны, вида http://сайт .ru/2014/11/14/ и так далее, в них материалы за этот день. Как мне закрыть эти страницы в robots.txt? Они в индексе не нужны... Если я написал так в роботе:
Так пойдет? Там ведь разные месяца и дни будут /2014/10/14/ - /2014/11/24/ и так далее. То что я написал в роботе закроет их все или нет? Или может какие знаки нужно еще дописать..?
закроет - по умолчанию идет *(регулярка - все символы) в конце строки.
Ребята, всех поздравляю!
Может форум находится на поддомене?
данный robots.txt разрешает сканирование файла.
Всем привет.
Какими БЕСПЛАТНЫМИ программами или сервисами можно быстро проверить слова на "частотность" и "!частотность"?
Т.к. запросов больше 1000, хочется "нулевые" отсеять.
Кейколлектор и Yazzle вроде могут такое, но они платные. Сейчас же нужно сегодня сделать проверку подобную.
Подскажите сервисы-программы.
С Наступающим!!!
словоебом +
ребята, только у меня сегодня не работает - анализ текстов?
Здравствуйте, у меня в одной директории находится основной домен и папки с поддоменами. Скажите пожалуйста, как можно запретить индексацию всех находящихся поддоменов в этой папке, не прописывая в каждом поддомене запрет в файле robots.txt и не перечисляя в robots.txt основного домена запреты на все существующие поддомены? Тоесть может быть существует какое-то регулярное выражение для файла robots.txt или для .htaccess? Но при этом чтобы папки основного домена и все его файлы были разрешены для индексации. На Яндексе в разделе про настройку файла robots.txt ничего про это не написано. Спасибо.
Если речь о robots.txt, то в поддомены нужно положить файл полностью закрывающий индексацию:
User-agent: *
Disallow: /
---------- Добавлено 29.12.2014 в 12:23 ----------
у меня в роботсе есть строчка Disallow: /wp-content/cache/
я использую плагин кеширования и не знаю как быть, оставить ее или удалить?
Я бы оставил строчку.
А кто-нибудь встречал отображение твиттов и прочего для "обычных" сайтов?
Не всяких там ютубов и жж, не супер новостных сайтов (аля первый канал), а для коммерческих ресуросов?
да, у любого сайта - это выдача быстроробота залайкнутая социалками. В сохраненке посмотри параметр FT.
можно через seo frog, через регулярки можно ограничить уровни, чтобы весь объем за 1 раз не сканировать.
Сейчас обнаружил в Yahoo, что он проиндексировал robots.txt и это есть в поисковой выдаче.
А как закрыть сам robots от индексации?
User-Agent: Yahoo! Slurp
Disallow: /robots.txt
---------- Добавлено 23.12.2014 в 14:34 ----------
Такого еще не встречал ) Рассмешили. Ребят, поддерживаю, такой вопрос поставил меня в тупик...
запись
Disallow: /
так же закроет файл robots.txt, он обрабатывается и сайт как правило вылетает из индекса.
То есть я могу так оставлять? Там же в папке получается много разных месяцов и дней, они тоже все закроются? Или нужно написать так:
Disallow: /2014/*
Disallow: /2015/*
Disallow: /2016/*
Просто хочу уточнить и сделать правильно все.
достаточно:
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Здравствуйте, ребята, сайт на DLE, есть страницы, которые не нужны, вида http://сайт .ru/2014/11/14/ и так далее, в них материалы за этот день. Как мне закрыть эти страницы в robots.txt? Они в индексе не нужны...
Если я написал так в роботе:
User-agent: Yandex
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /engine/download.php?id=*
Disallow: /user/
Disallow: /newposts/
Disallow: /2014/
Disallow: /2015/
Disallow: /2016/
Disallow: /favorites/
Disallow: /language/
Disallow: /templates/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Sitemap: http://сайт .ru/sitemap.xml
Host: сайт .ru
Так пойдет? Там ведь разные месяца и дни будут /2014/10/14/ - /2014/11/24/ и так далее.
То что я написал в роботе закроет их все или нет? Или может какие знаки нужно еще дописать..?
закроет - по умолчанию идет *(регулярка - все символы) в конце строки.