Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 06.10.2017, 10:52   #31
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Вот. Поэтому просто закройте в роботсе. Ну или принудительно отдавайте 404. И ни в коем случае не редирект. Потому что насрать на собственный сайт - это достойно только Руководителя SEO отдела)))))
Не пойму как закрыть в роботсе запросы без конкретных cgi-параметров, /?123456789 через Clean-param
или закрыть конкретные страницы которые сейчас в индексе?
Stanislaw84 вне форума   Ответить с цитированием

Реклама
Старый 06.10.2017, 10:58   #32
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,046
Репутация: 2073956

По умолчанию Re: Все вопросы по robots.txt - 2

Ну в общем случае просто /?

Только вот если у вас есть страницы с конкретными параметрами то:

1. Если это дерьмо ссылается только на страницы без параметров - выше;
2. Если на страницы, где параметры - ну тут 404.
__________________
Профессиональные SEO-аудиты, консультации - сделай себе и сайту подарок к лету, подними позиции и траф! Серчанам скидка 25%!
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Старый 06.10.2017, 11:21   #33
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

Thumbs up Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Ну в общем случае просто /?

Только вот если у вас есть страницы с конкретными параметрами то:

1. Если это дерьмо ссылается только на страницы без параметров - выше;
2. Если на страницы, где параметры - ну тут 404.

Сайт не создаёт динамического контента через парамы, поэтому их попросту нет. Проверил запрет
Disallow: /? через https://webmaster.yandex.ru/tools/robotstxt/, да всё, отличное решение!
Собственно для других страниц это будет иметь вид типа: Disallow: /PAGE_NAME/? ?
Спасибо!
Stanislaw84 вне форума   Ответить с цитированием
Старый 06.10.2017, 11:22   #34
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 31,046
Репутация: 2073956

По умолчанию Re: Все вопросы по robots.txt - 2

Ответ на вопрос да. Но если совсем нет параметров лучше

/*?
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Сказали спасибо:
Старый 06.10.2017, 17:14   #35
Duore
Студент
 
Регистрация: 29.05.2014
Адрес: Russia
Сообщений: 16
Репутация: 9293
Отправить сообщение для Duore с помощью ICQ

По умолчанию Re: Все вопросы по robots.txt - 2

deleted....

---------- Добавлено 06.10.2017 в 18:18 ----------

Цитата:
Сообщение от petyapirozhkov Посмотреть сообщение
Почему то так нахер вас послать охото. Никогда за собой не замечал такого на форумах
У бедного неадекватного человечка просто комплексы, или психические проблемы, помноженные на раздутое чсв. Очень Вас понимаю
Duore вне форума   Ответить с цитированием
Старый 09.11.2017, 11:46   #36
zzzzz
Академик
 
Аватар для zzzzz
 
Регистрация: 12.12.2006
Адрес: ХЗГ
Сообщений: 1,546
Репутация: 149686

По умолчанию Re: Все вопросы по robots.txt - 2

Как в роботсе закрыть такие урлы:
site.ru/medica.html?page={page}
Закрыть таким образом не могу Disallow: *?page=
т.к. закрою пагинацию, тем более для пагинации у меня настроены canonical
если указать Disallow: *{page}, то Я вебмастер пишет ошибку, что "Возможно, был использован недопустимый символ"
zzzzz вне форума   Ответить с цитированием
Старый 14.11.2017, 17:50   #37
xoxol4uk22
Кандидат наук
 
Аватар для xoxol4uk22
 
Регистрация: 14.11.2017
Сообщений: 293
Репутация: 17380

По умолчанию Как правильно прописать путь в robots.txt?

Помогите разобраться, пожалуйста.
Вопрос в большинстве случаев простой, но как быть с "глубокими" файлами. Например, мне нужно открыть доступ боту к файлу по адресу http://site.ru/wp-content/themes/tema/js/scripts.js
1. Почему не работает вот так Allow: */js/scripts.js , а только с названием шаблона в пути, т.е. Allow: */root/js/scripts.js? Я не хочу, чтобы видели такой полный путь все, кто посмотрит мой роботс... Но основная причина – это не удобно каждый раз прописывать более длинный путь. Может можно как-то по-другому?((
2. Можно как-то открыть доступ ко всем файлам типа .js? Пробовал Allow: *.js и Allow: */*.js , но все время строчка Disallow: /wp-content/themes перебивает это((
xoxol4uk22 вне форума   Ответить с цитированием
Старый 14.11.2017, 23:36   #38
garik77
Made in Mordor
 
Аватар для garik77
 
Регистрация: 07.12.2009
Адрес: село Алексеевское Московской губернии
Сообщений: 2,952
Репутация: 921061
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Как правильно прописать путь в robots.txt?

Достаточно не запрещать туда доступ, бот сам найдёт. Хотя глубоко вложенные папки всегда плохо индексировались
__________________
Арбитраж трафика - PARTNERSKIE-PROGRAMMY.NET - Партнерские программы.
Есть свободное местечко в подписи...
garik77 вне форума   Ответить с цитированием
Старый 15.11.2017, 11:41   #39
xoxol4uk22
Кандидат наук
 
Аватар для xoxol4uk22
 
Регистрация: 14.11.2017
Сообщений: 293
Репутация: 17380

По умолчанию Re: Как правильно прописать путь в robots.txt?

Цитата:
Сообщение от garik77 Посмотреть сообщение
Достаточно не запрещать туда доступ, бот сам найдёт. Хотя глубоко вложенные папки всегда плохо индексировались
Спасибо. Не знал, что глубина на это влияет.
В общем то был какой-то глюк самого Гугла. Он выдал мне под тайтлом в выдаче, что сайт не оптимизирован под мобильные. Ссылка вела на сервис от гугла для проверки. Выдал мне, что не видит файлов стилей и скрипотов (закрытых в роботс) и поэтому страница не отпимизирована. Там 40 файлов было и ругался даже на метрику и свои скрипты из блоков Адсенса)) Проверил другой сайт, на котором год назад такие манипуляции по открытию доступа делал, то там та же проблема. Через час или два все наладилось и сайт стал оптимизированным.

Универсальное решение.
На Вордпрессе в стандартном роботс закрыты папки тем и плагинов. Если Гугл ругается, что не видит, как сайт на мобильных смотрится, то нужно открыть доступ только к основному файлу стилей шаблона. Он может там и на 50 файлов ругаться, но достаточно прописать Allow: путь к основному файлу или файлам стилей шаблона.
xoxol4uk22 вне форума   Ответить с цитированием
Старый 16.11.2017, 08:39   #40
Максим Руднев
Студент
 
Регистрация: 28.09.2012
Сообщений: 17
Репутация: 3491
Отправить сообщение для Максим Руднев с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Как правильно прописать путь в robots.txt?

для WordPress отлично работает
Disallow: /wp-
Allow: /*/*.js
Allow: /*/*.css

гугл видит всё, что ему нужно
Максим Руднев вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo



Опции темы

Быстрый переход


Регистрация Справка Календарь Поддержка Все разделы прочитаны