Все вопросы по robots.txt

подскажите пожалуйста, как закрыть от индексации ссылки типа:

http://site.ru/search?f=148

http://site.ru/search?f=47

http://site.ru/search?f=48

....

и так около 30 штук.

перед всеми ставить Disallow ? может есть более разумный вариант?

у меня уже

они попадают в список sitemap при генерации, хочу в robots_e запрещать , а при генерации на постороннем ресурсе выбрать уже "учитывать robots.txt" и тогда не попадут в sitemap.

На данный момент у меня вот такой robots.txt

Подскажите, пожалуйста, как закрыть от индексации страницы, начинающиеся с: #!

it-sl, предполагаю что у вас что-то такого плана? /ru/forum/911379

Нет, УРЛ остались в индексе от старого сайта, и все они открывают главную страницу сайта. Получается куча дублей главной страницы.

Примеры:

/#!145-2й-этаж.jpg/zoom/c1h5w/image_7jp

/#!yars-207-1d-220_вид-2.jpg/zoom/c1h5w/image_1oid

/#!

/#!service/cmf0

и т.д.

Т.е. все урлы на старом сайта начинались с /#!, как теперь избавится от них?

it-sl, ну если это страницы от старого сайта, которых я так понимаю не существует, зачем вы хотите их запретить в роботсе нового?

Настройте 404, тогда не будет открывать главную. Если страниц не много в индексе и они вас смущают можете вручную удалить их из индекса, а так поисковый робот со временем сам их исключит.

Не ужели насчет моего поста никто не знает ответ ? :)

User-agent: *

Disallow: /add

Disallow: /search?f=*

User-Agent: Yandex

Disallow: /add

Disallow: /search?f=*

Sitemap: http://site.ru/sitemap.xml

Host: site.ru

Привет 🍿

как правильно закрыть папку и все файлы в ней в robots txt

пример /papka

/papka/index

papka/index/ku-ku

и тд

User-agent: *

Disallow: /papka/

Всё что в этой папке индексироваться не будет.

Здравствуйте уважаемые форумчане! Помогите решить проблему начинающему оптимизатору.

Пришло сообщение:

Веб-мастеру сайта http://emont-2001.com/

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске

Подскажите, нужно ли убрать какие либо папки из файла робот.тхт?

Сам файл:

User-agent: *

Disallow: /administrator/

Disallow: /cache/

Disallow: /cli/

Disallow: /components/

Disallow: /images/

Disallow: /includes/

Disallow: /installation/

Disallow: /language/

Disallow: /libraries/

Disallow: /logs/

Disallow: /media/

Disallow: /modules/

Disallow: /plugins/

Disallow: /templates/

Disallow: /tmp/

Если посмотреть на сайт глазами бота выходит вот что:

Роботу Google не удалось получить следующие ресурсы веб-страницы:

URL Тип Причина

http://emont-2001.com/templates/bt_t...y.min.1.9.1.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...slider.pack.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...nivo.slider.js Скрипт Заблокировано

http://emont-2001.com/images/slide1.png Изображение Заблокировано

http://emont-2001.com/templates/bt_t...s/template.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...s/menu/css.css Таблица стилей Заблокировано

http://emont-2001.com/media/widgetkit/js/jquery.js Скрипт Заблокировано

http://emont-2001.com/cache/widgetki...it-3f7e4369.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t....noconflict.js Скрипт Заблокировано

http://emont-2001.com/cache/widgetki...t-0087bc21.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...les/shCore.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...css/system.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...css/joomla.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...css/layout.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...ss/mstyles.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...typography.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...ss/sliders.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...css/custom.css Таблица стилей Заблокировано

http://emont-2001.com/templates/system/css/general.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...calculator.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...virtuemart.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...s/k2_style.css Таблица стилей Заблокировано

http://emont-2001.com/templates/bt_t...kins/coral.css Таблица стилей Заблокировано

http://emont-2001.com/media/system/js/mootools-core.js Скрипт Заблокировано

http://emont-2001.com/media/system/js/core.js Скрипт Заблокировано

http://emont-2001.com/media/system/js/caption.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...s/drop_down.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...js/bt_gotop.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...js/bt_popup.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t...uery.cookie.js Скрипт Заблокировано

http://emont-2001.com/templates/bt_t.../shBrushXml.js Скрипт Заблокировано

http://emont-2001.com/media/system/js/mootools-more.js Скрипт Заблокировано

http://emont-2001.com/components/com...ileuploader.js Скрипт Заблокировано

http://mc.yandex.ru/metrika/watch.js Скрипт Заблокировано robots.txt

http://emont-2001.com/images/zak.png Изображение Заблокировано

http://emont-2001.com/images/home_icon.png Изображение Заблокировано

http://emont-2001.com/images/sl2.png Изображение Заблокировано

http://emont-2001.com/images/sl3.png Изображение Заблокировано

http://emont-2001.com/images/sl4.png Изображение Заблокировано

http://emont-2001.com/images/sl5.png Изображение Заблокировано

http://emont-2001.com/templates/bt_t...emeDefault.css Таблица стилей Временно недоступно

http://emont-2001.com/components/com.../css/naked.css Таблица стилей Временно недоступно

http://emont-2001.com/templates/bt_t.../css/reset.css Таблица стилей Временно недоступно

http://emont-2001.com/templates/bt_t...bt_fade_img.js Скрипт Временно недоступно

http://emont-2001.com/templates/bt_t...y.min.1.6.4.js Скрипт Временно недоступно

http://emont-2001.com/templates/bt_t...ipts/shCore.js Скрипт Временно недоступно

http://emont-2001.com/templates/bt_t.../shBrushPhp.js Скрипт Временно недоступно