Яндекс ссылается что robots.txt запрещает индексировать

123
Q
На сайте с 09.02.2013
Offline
1
#11

Вот такой.....

User-agent: *

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-login.php

Disallow: /wp-register.php

Disallow: /xmlrpc.php

Disallow: /template.html

Disallow: /cgi-bin

Disallow: /wp-admin

Disallow: /wp-includes

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Disallow: /wp-trackback

Disallow: /wp-feed

Disallow: /wp-comments

Disallow: */trackback

Disallow: */feed

Disallow: */comments

Disallow: /tag

Disallow: /category

Disallow: /archive

Disallow: */trackback/

Disallow: */feed/

Disallow: */comments/

Disallow: /?feed=

Disallow: /?s=

Host: extruziv.ru

Sitemap: http://extruziv.ru/sitemap.xml

Sitemap: http://extruziv.ru/sitemap.xml.gz

---------- Добавлено 09.03.2013 в 18:38 ----------

ОООООООООООООО Блин...а почему яндекс такой видит.....?....так...чего надо сделать? загрузить другой?

---------- Добавлено 09.03.2013 в 18:41 ----------

<!--WEB-->:
Яндекс-то какой видит? В панели вебмастера можно посмотреть. А то там может какой-то третий вообще? 🤪

---------- Добавлено 09.03.2013 в 17:37 ----------


Может закешировался в браузере?

да...точно закешировался..я сейчас в другом открыл...и реально другой robots....Такс.....Ну господа атцы -подскажите чего делать то..а то чего то у меня уже запуталось все совсем((((((

---------- Добавлено 09.03.2013 в 18:42 ----------

тот первый вариант РОБОТСА нормальный же?....его просто закинуть на хостинг надо? и заново в яндексе прогнать? или он у меня кривой все же?

---------- Добавлено 09.03.2013 в 18:48 ----------

который сечас выдается это наверное когда я пытался составить различные варианты роботса...почему он остался, а не последний вариант..тоже непонятно...???

WEB
На сайте с 25.01.2009
Offline
514
WEB
#12

Такой положите:


User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
host: extruziv.ru

Sitemap: http://extruziv.ru/sitemap.xml
Sitemap: http://extruziv.ru/sitemap.xml.gz
serdget
На сайте с 24.01.2012
Offline
84
#13

http://extruziv.ru/zarabotok-v-hyip-forex-i-investiciyah/zarabotok-s-depozita-12-v-sutki-v-kompanii-pro-forex-union.html

Выделил жирным!

Чего то вы переборщили с настройками!

Зачем это (/zarabotok-v-hyip-forex-i-investiciyah/) там?

Смешные запросы (http://intersnet.ru/publ/internet/smeshnye_zaprosy_v_yandex_i_google/41-1-0-127) в поисковых системах.
Q
На сайте с 09.02.2013
Offline
1
#14
serdget:
http://extruziv.ru/zarabotok-v-hyip-forex-i-investiciyah/zarabotok-s-depozita-12-v-sutki-v-kompanii-pro-forex-union.html
Выделил жирным!
Чего то вы переборщили с настройками!
Зачем это (/zarabotok-v-hyip-forex-i-investiciyah/) там?

Где там?..это просто название одной из статей....

---------- Добавлено 09.03.2013 в 19:01 ----------

<!--WEB-->:
Такой положите:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
host: extruziv.ru

Sitemap: http://extruziv.ru/sitemap.xml
Sitemap: http://extruziv.ru/sitemap.xml.gz

Это ВЕСЬ(????) robots.txt .... или какая то вставка ???

serdget
На сайте с 24.01.2012
Offline
84
#15
qurtvex:
Где там?..это просто название одной из статей....

Название статьи?

То что я выделил = названию?

Q
На сайте с 09.02.2013
Offline
1
#16
serdget:
Название статьи?
То что я выделил = названию?

нет..то что Вы выделили это рубрика

WEB
На сайте с 25.01.2009
Offline
514
WEB
#17
qurtvex:
Это ВЕСЬ(????)

Это весь. А зачем больше? Думаете, чем больше, тем лучше?

Некоторые роботсы у меня вообще так выглядят:


User-agent: *
Host: site.ru

User-agent: *
Crawl-delay: 5
serdget
На сайте с 24.01.2012
Offline
84
#18
qurtvex:
нет..то что Вы выделили это рубрика

Правда?

Тогда это http://extruziv.ru/zarabotok-s-depozita-12-v-sutki-v-kompanii-pro-forex-union.html

Что?

Без рубрики ваша статья = 404(я) ошибка!

Q
На сайте с 09.02.2013
Offline
1
#19
<!--WEB-->:
Это весь. А зачем больше? Думаете, чем больше, тем лучше?
Некоторые роботсы у меня вообще так выглядят:

User-agent: *
Host: site.ru

User-agent: *
Crawl-delay: 5

Нет я так не думаю потому что еще мало уделил времени этой теме.

Просто почему то почти везде где я пытался найти инфу про роботс обращали внимание на то что для google и Яндекса лучше писать отдельно (что я в принципе и делал как видите).

Вот поэтому я и решил уточнить на всякий случай ВЕСь это или нет...

Огромное спасибо за помощь....особенно порадовала оперативность этой помощи!!!! Всем БОЛЬШУЩЕЕЕ спасибо....

А я пошел грузить роботса....)))

---------- Добавлено 09.03.2013 в 19:17 ----------

serdget:
Правда?
Тогда это http://extruziv.ru/zarabotok-s-depozita-12-v-sutki-v-kompanii-pro-forex-union.html
Что?
Без рубрики ваша статья = 404(я) ошибка!

Странно..сейчас проверял в консоли сейчас....она у меня в рубрике стоит....

serdget
На сайте с 24.01.2012
Offline
84
#20
qurtvex:
Нет я так не думаю потому что еще мало уделил времени этой теме.
Просто почему то почти везде где я пытался найти инфу про роботс обращали внимание на то что для google и Яндекса лучше писать отдельно (что я в принципе и делал как видите).
Вот поэтому я и решил уточнить на всякий случай ВЕСь это или нет...
Огромное спасибо за помощь....особенно порадовала оперативность этой помощи!!!! Всем БОЛЬШУЩЕЕЕ спасибо....
А я пошел грузить роботса....)))

---------- Добавлено 09.03.2013 в 19:17 ----------


Странно..сейчас проверял в консоли сейчас....она у меня в рубрике стоит....

Обязательно проверьте, после того как исправите в консоли, в яндекс, роботс!

Мне интересно, угадал, или нет!

Я не волшебник, я только учусь!

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий