Все вопросы по robots.txt - 2 - Страница 4 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 06.10.2017, 10:52   #31
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Вот. Поэтому просто закройте в роботсе. Ну или принудительно отдавайте 404. И ни в коем случае не редирект. Потому что насрать на собственный сайт - это достойно только Руководителя SEO отдела)))))
Не пойму как закрыть в роботсе запросы без конкретных cgi-параметров, /?123456789 через Clean-param
или закрыть конкретные страницы которые сейчас в индексе?
Stanislaw84 вне форума   Ответить с цитированием

Реклама
Старый 06.10.2017, 10:58   #32
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 30,341
Репутация: 2051621

По умолчанию Re: Все вопросы по robots.txt - 2

Ну в общем случае просто /?

Только вот если у вас есть страницы с конкретными параметрами то:

1. Если это дерьмо ссылается только на страницы без параметров - выше;
2. Если на страницы, где параметры - ну тут 404.
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Старый 06.10.2017, 11:21   #33
Stanislaw84
Студент
 
Регистрация: 13.05.2016
Сообщений: 12
Репутация: 10

Thumbs up Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Ну в общем случае просто /?

Только вот если у вас есть страницы с конкретными параметрами то:

1. Если это дерьмо ссылается только на страницы без параметров - выше;
2. Если на страницы, где параметры - ну тут 404.

Сайт не создаёт динамического контента через парамы, поэтому их попросту нет. Проверил запрет
Disallow: /? через https://webmaster.yandex.ru/tools/robotstxt/, да всё, отличное решение!
Собственно для других страниц это будет иметь вид типа: Disallow: /PAGE_NAME/? ?
Спасибо!
Stanislaw84 вне форума   Ответить с цитированием
Старый 06.10.2017, 11:22   #34
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 30,341
Репутация: 2051621

По умолчанию Re: Все вопросы по robots.txt - 2

Ответ на вопрос да. Но если совсем нет параметров лучше

/*?
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Сказали спасибо:
Старый 06.10.2017, 17:14   #35
Duore
Студент
 
Регистрация: 29.05.2014
Адрес: Russia
Сообщений: 13
Репутация: 9293
Отправить сообщение для Duore с помощью ICQ

По умолчанию Re: Все вопросы по robots.txt - 2

deleted....

---------- Добавлено 06.10.2017 в 18:18 ----------

Цитата:
Сообщение от petyapirozhkov Посмотреть сообщение
Почему то так нахер вас послать охото. Никогда за собой не замечал такого на форумах
У бедного неадекватного человечка просто комплексы, или психические проблемы, помноженные на раздутое чсв. Очень Вас понимаю
Duore вне форума   Ответить с цитированием
Старый 09.11.2017, 12:46   #36
zzzzz
Академик
 
Аватар для zzzzz
 
Регистрация: 12.12.2006
Адрес: ХЗГ
Сообщений: 1,535
Репутация: 147073

По умолчанию Re: Все вопросы по robots.txt - 2

Как в роботсе закрыть такие урлы:
site.ru/medica.html?page={page}
Закрыть таким образом не могу Disallow: *?page=
т.к. закрою пагинацию, тем более для пагинации у меня настроены canonical
если указать Disallow: *{page}, то Я вебмастер пишет ошибку, что "Возможно, был использован недопустимый символ"
zzzzz вне форума   Ответить с цитированием
Старый 14.11.2017, 18:50   #37
xoxol4uk22
Аспирант
 
Аватар для xoxol4uk22
 
Регистрация: 14.11.2017
Сообщений: 216
Репутация: 7293

По умолчанию Как правильно прописать путь в robots.txt?

Помогите разобраться, пожалуйста.
Вопрос в большинстве случаев простой, но как быть с "глубокими" файлами. Например, мне нужно открыть доступ боту к файлу по адресу http://site.ru/wp-content/themes/tema/js/scripts.js
1. Почему не работает вот так Allow: */js/scripts.js , а только с названием шаблона в пути, т.е. Allow: */root/js/scripts.js? Я не хочу, чтобы видели такой полный путь все, кто посмотрит мой роботс... Но основная причина – это не удобно каждый раз прописывать более длинный путь. Может можно как-то по-другому?((
2. Можно как-то открыть доступ ко всем файлам типа .js? Пробовал Allow: *.js и Allow: */*.js , но все время строчка Disallow: /wp-content/themes перебивает это((
xoxol4uk22 вне форума   Ответить с цитированием
Старый 15.11.2017, 00:36   #38
garik77
Made in Mordor
 
Аватар для garik77
 
Регистрация: 07.12.2009
Адрес: село Алексеевское Московской губернии
Сообщений: 3,128
Репутация: 800773
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Как правильно прописать путь в robots.txt?

Достаточно не запрещать туда доступ, бот сам найдёт. Хотя глубоко вложенные папки всегда плохо индексировались
__________________
Арбитраж трафика - PARTNERSKIE-PROGRAMMY.NET - Партнерские программы
garik77 вне форума   Ответить с цитированием
Старый 15.11.2017, 12:41   #39
xoxol4uk22
Аспирант
 
Аватар для xoxol4uk22
 
Регистрация: 14.11.2017
Сообщений: 216
Репутация: 7293

По умолчанию Re: Как правильно прописать путь в robots.txt?

Цитата:
Сообщение от garik77 Посмотреть сообщение
Достаточно не запрещать туда доступ, бот сам найдёт. Хотя глубоко вложенные папки всегда плохо индексировались
Спасибо. Не знал, что глубина на это влияет.
В общем то был какой-то глюк самого Гугла. Он выдал мне под тайтлом в выдаче, что сайт не оптимизирован под мобильные. Ссылка вела на сервис от гугла для проверки. Выдал мне, что не видит файлов стилей и скрипотов (закрытых в роботс) и поэтому страница не отпимизирована. Там 40 файлов было и ругался даже на метрику и свои скрипты из блоков Адсенса)) Проверил другой сайт, на котором год назад такие манипуляции по открытию доступа делал, то там та же проблема. Через час или два все наладилось и сайт стал оптимизированным.

Универсальное решение.
На Вордпрессе в стандартном роботс закрыты папки тем и плагинов. Если Гугл ругается, что не видит, как сайт на мобильных смотрится, то нужно открыть доступ только к основному файлу стилей шаблона. Он может там и на 50 файлов ругаться, но достаточно прописать Allow: путь к основному файлу или файлам стилей шаблона.
xoxol4uk22 вне форума   Ответить с цитированием
Старый 16.11.2017, 09:39   #40
Максим Руднев
Студент
 
Регистрация: 28.09.2012
Сообщений: 17
Репутация: 3491
Отправить сообщение для Максим Руднев с помощью Skype™
Социальные сети Профиль в ВКонтакте

По умолчанию Re: Как правильно прописать путь в robots.txt?

для WordPress отлично работает
Disallow: /wp-
Allow: /*/*.js
Allow: /*/*.css

гугл видит всё, что ему нужно
Максим Руднев вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , seo




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 04:15. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны