Все вопросы по robots.txt - 2

Ну в общем случае просто /?

Только вот если у вас есть страницы с конкретными параметрами то:

1. Если это дерьмо ссылается только на страницы без параметров - выше;

2. Если на страницы, где параметры - ну тут 404.

Сайт не создаёт динамического контента через парамы, поэтому их попросту нет. Проверил запрет

Disallow: /? через https://webmaster.yandex.ru/tools/robotstxt/, да всё, отличное решение!

Собственно для других страниц это будет иметь вид типа: Disallow: /PAGE_NAME/? ?

Спасибо!

Ответ на вопрос да. Но если совсем нет параметров лучше

/*?

deleted....

---------- Добавлено 06.10.2017 в 18:18 ----------

У бедного неадекватного человечка просто комплексы, или психические проблемы, помноженные на раздутое чсв. Очень Вас понимаю :)

Как в роботсе закрыть такие урлы:

site.ru/medica.html?page={page}

Закрыть таким образом не могу Disallow: *?page=

т.к. закрою пагинацию, тем более для пагинации у меня настроены canonical

если указать Disallow: *{page}, то Я вебмастер пишет ошибку, что "Возможно, был использован недопустимый символ"

Помогите разобраться, пожалуйста.

Вопрос в большинстве случаев простой, но как быть с "глубокими" файлами. Например, мне нужно открыть доступ боту к файлу по адресу http://site.ru/wp-content/themes/tema/js/scripts.js

1. Почему не работает вот так Allow: */js/scripts.js , а только с названием шаблона в пути, т.е. Allow: */root/js/scripts.js? Я не хочу, чтобы видели такой полный путь все, кто посмотрит мой роботс... Но основная причина – это не удобно каждый раз прописывать более длинный путь. Может можно как-то по-другому?((

2. Можно как-то открыть доступ ко всем файлам типа .js? Пробовал Allow: *.js и Allow: */*.js , но все время строчка Disallow: /wp-content/themes перебивает это((

Достаточно не запрещать туда доступ, бот сам найдёт. Хотя глубоко вложенные папки всегда плохо индексировались

Спасибо. Не знал, что глубина на это влияет.

В общем то был какой-то глюк самого Гугла. Он выдал мне под тайтлом в выдаче, что сайт не оптимизирован под мобильные. Ссылка вела на сервис от гугла для проверки. Выдал мне, что не видит файлов стилей и скрипотов (закрытых в роботс) и поэтому страница не отпимизирована. Там 40 файлов было и ругался даже на метрику и свои скрипты из блоков Адсенса)) Проверил другой сайт, на котором год назад такие манипуляции по открытию доступа делал, то там та же проблема. Через час или два все наладилось и сайт стал оптимизированным.

Универсальное решение.

На Вордпрессе в стандартном роботс закрыты папки тем и плагинов. Если Гугл ругается, что не видит, как сайт на мобильных смотрится, то нужно открыть доступ только к основному файлу стилей шаблона. Он может там и на 50 файлов ругаться, но достаточно прописать Allow: путь к основному файлу или файлам стилей шаблона.

для WordPress отлично работает

Disallow: /wp-

Allow: /*/*.js

Allow: /*/*.css

гугл видит всё, что ему нужно

Спасибо. Вроде так пробовал, только еще звездочку спереди. Попробуем и это.