Все вопросы по robots.txt

N8
На сайте с 25.03.2014
Offline
0
#141
Jaf4:
Пофиг, лендинг делается не для поискового трафика. ☝

А для чего он делается? у меня там будут пару статей на нем уникальны.

деньги на ветер

почему на ветер? а как его тогда продвигать и чем? какими инструментами?

Jaf4
На сайте с 03.08.2009
Offline
804
#142
New! NVMe VPS от SmartApe.ru (https://goo.gl/eoYYkS)
V
На сайте с 06.12.2010
Offline
105
#143

Друзья, подскажите как правильно убрать из индекса сайты на субдомене и весь сайт?

Просто в корень положить robots.txt

c такими параметрами:

User-agent: *

Disallow: /

или для субдоменов требуется другой параметр?

Ответ лучше в личку.

Заранее благодарен

А-ап, и тигры у ног моих сели...
E
На сайте с 30.10.2012
Offline
50
#144

загрузила сегодня на Гугл вебмастер карту своего сайта, а Гугл возьми да и выдай:

Доступ к URL заблокирован в файле robots.txt.
Файл Sitemap содержит URL, доступ к которым заблокирован в файле robots.txt.
http://site.com/category-sitemap.xml
http://site.com/page-sitemap.xml
http://site.com/post-sitemap.xml

То есть получается что заблокирован доступ ко ВСЕМУ сайту?!

А вот часть этого роботса:

User-agent: *
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /webstat/
Disallow: /feed/
Disallow: */feed
Disallow: /trackback
Disallow: */trackback
Disallow: /comments
Disallow: */comments
Disallow: /wp-comments
Disallow: /wp-trackback
Disallow: /wp-feed
Disallow: /*?*
Disallow: /*?
Disallow: /category/*/*
Disallow: /cgi-bin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-content/cache
Disallow: /wp-admin/
Disallow: /wp-includes/

Я, конечно, дилетант, но как не смотрю, не могу понять - где тут ошибка.

богоносец
На сайте с 30.01.2007
Offline
769
#145
Estelle:
То есть получается что заблокирован доступ ко ВСЕМУ сайту?!

Нет, тоолько к соотв.сайтмапам (если это сайтмапы, но найти все страницы сайта можно и по ссылкам). Типа боту к перечисленным урлам обращаться запрещено (какими-то правилами в роботсе).

ps можно писать Disallow: /robots.txt # можно выкинуть из индекса robots.txt

но типа нельзя Disallow: /префикс-вашего-сайтмапа # не получается выкинуть из индекса Гугля сайтмап

G
На сайте с 07.03.2014
Offline
0
#146

Здравствуйте ) столкнулся с такой проблемой , как закрыть от индексации одной командой картинки с галерей, Пример адреса: http://Сайт/content/52287c406a8429jpg#overlay-context=content/muzykanty-na-svadbu ? Когда картинки были собраны в одну директорию они закрывались командой Disallow: /ru/media-gallery/, в даном примере подойдет Disallow: *.jpg ?

A4
На сайте с 12.04.2014
Offline
0
#147

С 19 марта у меня перестали индексироваться Яндексом новые статьи на сайте http://iddeas.ru. Яндекс сообщает, что проблема в файле robots. Но никаких проблем я не нашел. В чем же дело?

KS
На сайте с 18.02.2014
Offline
41
#148

Disallow: /category/

Будь внимательнее, проверяй роботс http://webmaster.yandex.ru/robots.xml

Андрей
На сайте с 21.01.2009
Offline
96
#149

Как правильно закрыть в роботс страницы типа http://xxxxx.ru/catalog/2446/5764/?print=y

Писал уже так:

Disallow: /?print*

Disallow: /?print=*

Disallow: /*print*

Disallow: /?print=y

Ничего не помогает, все равно куча страниц в поиске.

Крупная биржа баннерной рекламы ( https://falconsender.ru/?alksprin)
Pavel Medvedev
На сайте с 27.01.2006
Offline
166
#150

Disallow: /*print=

Но в гугле могут оставаться в индексе, если на них есть ссылки

Консультирую по SEO. Опыт c 2005: окна топ1,Ашан,Фишки,Спортс и др. Пишите в FB.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий