Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Вернуться   Форум об интернет-маркетинге > >
Ответ
 
Опции темы
Старый 16.11.2017, 16:46   #41
xoxol4uk22
Аспирант
 
Аватар для xoxol4uk22
 
Регистрация: 14.11.2017
Сообщений: 241
Репутация: 14788

По умолчанию Re: Как правильно прописать путь в robots.txt?

Цитата:
Сообщение от Максим Руднев Посмотреть сообщение
для WordPress отлично работает
Disallow: /wp-
Allow: /*/*.js
Allow: /*/*.css

гугл видит всё, что ему нужно
Спасибо. Вроде так пробовал, только еще звездочку спереди. Попробуем и это.
xoxol4uk22 вне форума   Ответить с цитированием

Реклама
Старый 17.11.2017, 18:17   #42
Anibrut
Аспирант
 
Аватар для Anibrut
 
Регистрация: 28.05.2014
Сообщений: 179
Репутация: 1997
Отправить сообщение для Anibrut с помощью Skype™

По умолчанию Re: Все вопросы по robots.txt - 2

Всем привет ситуация такая:
товары были здесь
site.net/kategory/tovar
стали здесь
site.net/newkategory/kategory/tovar

Как закрыть в robots старые пути товаров УРЛ site.net/kategory/ ?

пробовали так:
Disallow: http://site.net/kategory/*
но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.
Anibrut вне форума   Ответить с цитированием
Старый 17.11.2017, 21:03   #43
manic
хмурый
 
Аватар для manic
 
Регистрация: 09.12.2008
Адрес: Москва
Сообщений: 434
Репутация: 37513
Отправить сообщение для manic с помощью ICQ

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Anibrut Посмотреть сообщение
Disallow: http//site.net/kategory/*
но сервис проверки показывает, что товар по адресу site.net/kategory/tovar доступен.
Адрес домена лишний
Так попробуйте:
Disallow: /kategory/
Если у /kategory/ разные названия, тогда новые категории не перекроете. Проверьте в вебмастере

Если названия /kategory/ одинаковые, то поставить ещё и
Allow: /newkategory/kategory/

А вообще, если названия /kategory/ одинаковые продуктивнее редирект сделать по маске со всех страниц старого раздела на все страницы нового.

Последний раз редактировалось manic; 17.11.2017 в 21:18.. Причина: С мобильника куча ошибок
manic вне форума   Ответить с цитированием
Сказали спасибо:
Старый 18.11.2017, 12:17   #44
Daftix
Аспирант
 
Аватар для Daftix
 
Регистрация: 26.11.2006
Адрес: Москва
Сообщений: 226
Репутация: 45366
Отправить сообщение для Daftix с помощью Skype™

По умолчанию Выкинет ли Яндекс страницу из поиска

Есть урл с гет-параметрами, допустим, site.ru/cat/?id=123.

В robots.txt используется секция:
Clean-param: id *

Для страницы site.ru/cat/?id=123 прописан мета-тег:
<meta name="robots" content="noindex, follow"/>

Для страницы site.ru/cat/ такой мета-тег не прописан.

Вопрос: при такой конструкции не выкинет ли Яндекс страницу site.ru/cat/ из индекса?
__________________
MATRAS.RU — интернет-магазин матрасов и товаров для сна
Daftix вне форума   Ответить с цитированием
Старый 21.11.2017, 13:48   #45
Anibrut
Аспирант
 
Аватар для Anibrut
 
Регистрация: 28.05.2014
Сообщений: 179
Репутация: 1997
Отправить сообщение для Anibrut с помощью Skype™

По умолчанию Re: Все вопросы по robots.txt - 2

manic, спасибо, все отлично получилось роботсом. Ждем теперь как будет себя вести статус индексирования а то вверх пополз конкретно.
Еще вот такой маленький нюанс в роботсе написано сначала все Disallow: потом все Allow: ну как всегда а тут новые слелали так: Disallow: Allow: Disallow: Allow: Disallow: Allow: ничего страшного?
Anibrut вне форума   Ответить с цитированием
Старый 24.11.2017, 14:57   #46
qwerty2009
Профессор
 
Регистрация: 26.07.2012
Сообщений: 749
Репутация: 58222

По умолчанию Re: Все вопросы по robots.txt - 2

Привет.
Есть сайт на DLE, название: sait.ru у него есть robots.txt вот такой:
User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search

И вот сегодня в поиске яндекса по непонятным причинам вылез такой сайт main.sait.ru, который точная копия моего сайта, а по сути, является зеркалом основного моего сайта.
То есть, получается, что мой почтовый домен каким-то образом стал сайтом. Служба поддержки хостинга говорит, что си панель что-то начудила и рекомендует сделать редирект в файле .htaccess на основной сайт. Редирект то я сделал, теперь идёт перенаправление на мой основной сайт. А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru
qwerty2009 вне форума   Ответить с цитированием
Старый 26.11.2017, 16:35   #47
manic
хмурый
 
Аватар для manic
 
Регистрация: 09.12.2008
Адрес: Москва
Сообщений: 434
Репутация: 37513
Отправить сообщение для manic с помощью ICQ

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от qwerty2009 Посмотреть сообщение
Привет.
А как указать в robots.txt чтобы сайт main.sait.ru не индексировался, а индексировался основной сайт sait.ru
Своим роботсом в корне поддомена, если такая папка создалась.
Зеркало могло создаться через а-запись домена. Проверьте, нет ли лишней.
manic вне форума   Ответить с цитированием
Старый 30.11.2017, 22:53   #48
00Al
Студент
 
Регистрация: 24.08.2017
Сообщений: 8
Репутация: -2287

По умолчанию Re: Все вопросы по robots.txt - 2

Всем доброго времени суток!
Подскажите пожалуйста - мне надо временно полностью закрыть сайт от индексации.
Я на всех страницах сайта в поле head автоматом разместил -

<head>

<meta name="robots" content="noindex,nofollow" />

<head>

а в робот.тхт написал -
User-agent: *
Disallow:

Правильно ли я закрыл сайт от ботов и индексации.
Спасибо большое!
00Al вне форума   Ответить с цитированием
Старый 30.11.2017, 22:57   #49
Miha Kuzmin (KMY)
Аудиты, консультации
 
Аватар для Miha Kuzmin (KMY)
 
Регистрация: 05.05.2003
Адрес: Чехов
Сообщений: 30,720
Репутация: 2061584

По умолчанию Re: Все вопросы по robots.txt - 2

Нет, это клиника. Достаточно было

Disallow: /

Блин тут вообще пациенты читают инструкции?
__________________
Профессиональные SEO-аудиты - сделай себе и сайту подарок! Серчанам скидка 25%!

Статистика по SEO-аудитам и пара мыслей
Miha Kuzmin (KMY) вне форума   Ответить с цитированием
Старый 01.12.2017, 02:13   #50
00Al
Студент
 
Регистрация: 24.08.2017
Сообщений: 8
Репутация: -2287

По умолчанию Re: Все вопросы по robots.txt - 2

Цитата:
Сообщение от Miha Kuzmin (KMY) Посмотреть сообщение
Нет, это клиника. Достаточно было

Disallow: /

Блин тут вообще пациенты читают инструкции?
Можно ответить мне прямо, если уж взялись за клаву? Моя задача по закрытию всего сайта от ботов выполнена или нет?
А то написали про "клинику", и про "достаточно было", а зачем? Целепологание то есть?
Я вроде о другом спрашивал...
Не знаете прямого ответа, так и не сбивайте людей с толку. И без таких пациентов, голова кругом...
00Al вне форума   Ответить с цитированием
Ответ

Метки
clean , param , robots , robots.txt , seo




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 07:07. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны