Все вопросы по robots.txt

Это ограничение форума, чтобы сообщение было не короче 10 символов. К вашему вопросу не имеет отношения)

вопрос был на предыдущей странице, никто не подскажет? /ru/forum/comment/14855700

Добрый день. Есть вопрос.

Есть 15 ссылок котрые нужно закрыть от индексации в robots.txt

Как видно все эти ссылки почти одинаковые, отличаются только id категории и товаров

Вопрос: можно ли в robots.txt закрыть одной строчкой доступ к этим ссылкам? или в роботс нужно вносить вносить все 15 ссылок?

Вот эти ссылки:

http://mamamango.ru/index.php?page=shop.product_details&category_id=117&product_id=18354&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=117&product_id=18857&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=118&product_id=19554&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=118&product_id=22559&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=118&product_id=22745&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=118&product_id=23232&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=121&product_id=18443&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=121&product_id=21863&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=121&product_id=22143&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=147&product_id=18591&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=147&product_id=18652&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=147&product_id=18660&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=147&product_id=18734&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=147&product_id=18871&Itemid=59&option=

http://mamamango.ru/index.php?page=shop.product_details&category_id=173&product_id=19400&Itemid=59&option=

Нужно ли закрывать от индексации папку с кэшем изображений? Если нет, то при очистке кэша будет 404 ошибка

Сам robots.txt

Второй урл должен "закрывать" от индексации, но по данным https://webmaster.yandex.ru/tools/robotstxt/

оба для индексации доступны.

Как поправить robots.txt, чтобы таки второй урл был закрыт от индексации?

Спасибо!

Мне нужно чтобы гугл выкинул сайт с выдачи, а яндекс и другие пс чтобы и дальше проверяли сайт, подскажите плз правильно ли я настроил robots.txt:

User-agent: *

Disallow: /engine/

Disallow: /engine/go.php

Disallow: /backup/

Disallow: /user/

Disallow: /admin.php

Disallow: /profile/*

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /reviews/

Disallow: /comment*

Disallow: /index.php?do*

Disallow: /index.php?alfpage*

Disallow: /index.php?alfpage*

Disallow: /index.php?cstart*

Disallow: /?do*

Disallow: /print*

Disallow: /tags/

Disallow: /?newsid*

Disallow: /index.php?newsid*

Disallow: /forum/index.php?app=core

Disallow: /forum/index.php?app=forums

Disallow: /forum/index.php?app=members

Disallow: /forum/user

Disallow: /forum/members/

Disallow: /?from=

Sitemap: http://site.com/sitemap.xml

Host: site.com

User-agent: Googlebot

Disallow: /

Да, только еще вот этих ботов пропиши:

Googlebot-Image

Mediapartners-Google

Есть вероятность что не выкинет, Гугл вертел эти Disallow на своем поисковом индексе

Если блог на WordPress и для индексирования нужны только сами статьи с картинками в низ, не проще ли такой файл robots сделать:

User-agent: *

Disallow: /

Allow: /?p=*

дело в том, что протокол robots - это протокол исключений

то есть вы указываете, что сканировать/индексировать нельзя; остальное воспринимается как разрешенное.

поэтому нельзя так делать

принято давать запреты на краулинг/индексацию таксономий, рекомендую этот вариант

Sent from my iPhone using Tapatalk

Привет, подскажите пожалуйста, что значит строка:

Disallow: /*cs/

На сайте есть директория /cs и она не индексируется, гугл вебмастерс пишет что ошибка в этой строке, что она означает можете расшифровать, спасибо.