Все вопросы по robots.txt - Страница 2 - Форум об интернет-маркетинге
Этот сайт существует на доходы от рекламы.
Пожалуйста, выключите AdBlock.
Старый 16.12.2013, 13:40   #11
alex121314
Студент
 
Регистрация: 17.12.2012
Сообщений: 23
Репутация: 10
Отправить сообщение для alex121314 с помощью ICQ Отправить сообщение для alex121314 с помощью Skype™
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте

По умолчанию Вопрос по robots.txt

Здравствуйте уважаемые гуру!
Недавно заглянул в статистику webmaster.yandex.ru своего аккаунта и увидел следующее:

Исключенные страницы:

HTTP-статус: Ресурс не найден (404) 154
Документ запрещен в файле robots.txt 163

При детальном просмотре статистики обнаружилось, что большинство страниц моего ресурса закрыто от индексации директивой Disallow: /*?*. В связи с чем вопрос, глубоко уважаемые гуру: какие страницы запрещены к индексации при введении данной директивы (сайт на wordpress)? Эффективна ли она в принципе, ведь с ее помощью от индексации закрыто чуть ли не большая половина контента моего ресурса.
Спасибо!
__________________
_________________________________________________________________________________________

С почтением и уважением
Александр Астафьев
alex121314 вне форума   Ответить с цитированием

Реклама
Старый 16.12.2013, 13:47   #12
Ripro
Академик
 
Аватар для Ripro
 
Регистрация: 04.11.2006
Сообщений: 1,043
Репутация: 111825

По умолчанию Re: Вопрос по robots.txt

Просмотрите какие страницы закрыты - именно те, которые вы хотели закрыть или нет? Закройте только те страницы, которые нужно закрыть.
Ripro вне форума   Ответить с цитированием
Старый 16.12.2013, 13:48   #13
Alvion
Кандидат наук
 
Аватар для Alvion
 
Регистрация: 11.05.2012
Сообщений: 353
Репутация: -7482
Социальные сети Профиль в LinkedIn

По умолчанию Re: Вопрос по robots.txt

Цитата:
Сообщение от alex121314 Посмотреть сообщение
Disallow: /*?*
Дубли страниц в результатах поиска. Тоже использую.
Alvion вне форума   Ответить с цитированием
Старый 16.12.2013, 13:49   #14
Doctor-Intelligent
Аспирант
 
Регистрация: 06.02.2009
Адрес: Астрахань
Сообщений: 194
Репутация: 16677

По умолчанию Re: Вопрос по robots.txt

Закрыты все страницы, в адресе которых присутствует знак вопроса. Если нет ЧПУ, то все посты запрещены.
Doctor-Intelligent вне форума   Ответить с цитированием
Старый 16.12.2013, 13:50   #15
Ripro
Академик
 
Аватар для Ripro
 
Регистрация: 04.11.2006
Сообщений: 1,043
Репутация: 111825

По умолчанию Re: Вопрос по robots.txt

Цитата:
Сообщение от Alvion Посмотреть сообщение
Дубли страниц в результатах поиска. Тоже использую.
Далеко не всегда это дубли
Если не настроены ЧПУ - ТС закрыл весь сайт ))
Ripro вне форума   Ответить с цитированием
Старый 16.12.2013, 13:53   #16
Alvion
Кандидат наук
 
Аватар для Alvion
 
Регистрация: 11.05.2012
Сообщений: 353
Репутация: -7482
Социальные сети Профиль в LinkedIn

По умолчанию Re: Вопрос по robots.txt

Вот Вам неплохой пост по теме, почитайте, возможно будет полезен.
Alvion вне форума   Ответить с цитированием
Старый 16.12.2013, 14:24   #17
alex121314
Студент
 
Регистрация: 17.12.2012
Сообщений: 23
Репутация: 10
Отправить сообщение для alex121314 с помощью ICQ Отправить сообщение для alex121314 с помощью Skype™
Социальные сети Страница в Одноклассниках Профиль в ВКонтакте

По умолчанию Re: Вопрос по robots.txt

Цитата:
Сообщение от Alvion Посмотреть сообщение
Вот Вам неплохой пост по теме, почитайте, возможно будет полезен.
Огромное спасибо! Исчерпывающе ответили на мой вопрос. Также благодарю всех тех, кто помог с ответами на мои вопросы.
alex121314 вне форума   Ответить с цитированием
Старый 17.12.2013, 15:09   #18
Aleks_I
Дипломник
 
Регистрация: 26.10.2012
Сообщений: 80
Репутация: -155

По умолчанию Re: Все вопросы по robots.txt

Цитата:
Сообщение от G-and-Y Посмотреть сообщение
/brend/11/breguet2.html
/brend/11/breguet3.html

Как закрыть ссылки такого вида?(страницы пагинации)
движок ИМ от luxcash.ru

Скорее всего нужно на уровне движка метатегом, или можно роботсом?
чтобы закрыть от робота всё с сочетанием "breguet" (в именах файлов и каталогов)
Disallow : /*breguet*


что касается тега <noindex>, то теперь Яндекс понимает его в виде <!--noindex-->...<!--/noindex-->
Aleks_I вне форума   Ответить с цитированием
Старый 17.12.2013, 18:44   #19
mirstatey
Аспирант
 
Аватар для mirstatey
 
Регистрация: 10.09.2011
Сообщений: 103
Репутация: 6241

Smile Прошу помощи по robot.txt

На сайте есть каталог компаний (в виде общего списка с постраничной навигацией и с разбивкой по алфавиту). Интересует вопрос, как правильно запретить в роботс страницы вида:
http://site.ru/companies?name=А
http://site.ru/companies?name=Б
http://site.ru/companies?name=В и т.д.
т.е. чтобы индексировались только страницы из общего списка (http://site.ru/companies)

Будет ли правильным следующий вариант?
Disallow: *?name=
Заранее благодарен всем, кто откликнется
mirstatey вне форума   Ответить с цитированием
Старый 17.12.2013, 19:09   #20
mssqwesto
Аспирант
 
Аватар для mssqwesto
 
Регистрация: 24.03.2011
Сообщений: 223
Репутация: 27504

По умолчанию Re: Прошу помощи по robot.txt

Цитата:
Сообщение от mirstatey Посмотреть сообщение
На сайте есть каталог компаний (в виде общего списка с постраничной навигацией и с разбивкой по алфавиту). Интересует вопрос, как правильно запретить в роботс страницы вида:
http://site.ru/companies?name=А
http://site.ru/companies?name=Б
http://site.ru/companies?name=В и т.д.
т.е. чтобы индексировались только страницы из общего списка (http://site.ru/companies)

Будет ли правильным следующий вариант?
Disallow: *?name=
Заранее благодарен всем, кто откликнется
правильно будет
Disallow: *?name=*
а, если нет для индексирования страниц с "?" то можно и
Disallow: *?*
mssqwesto вне форума   Ответить с цитированием
Сказали спасибо:
Ответ

Метки
https, robots, robots.txt, seo, ssl сертификат, wordpress, алиасы, запрет, поддомены, роботс




Опции темы

Ваши права в разделе
Вы не можете создавать новые темы
Вы не можете отвечать в темах
Вы не можете прикреплять вложения
Вы не можете редактировать свои сообщения

BB коды Вкл.
Смайлы Вкл.
[IMG] код Вкл.
HTML код Выкл.

Быстрый переход



Текущее время: 23:18. Часовой пояс GMT +3.

Регистрация Справка Календарь Поддержка Все разделы прочитаны