Документ запрещен в файле robots.txt

Бумеранг777
На сайте с 08.02.2009
Offline
660
2419

Привет всем, вобщем такая история. Однажды написал Платонам по поводу тизерки и падения трафа из за их кода на сайте. Был такой разговор по поводу тизерки ПэКлик и их кодов у них в топике. Засветил свой ресурс Платонам и всё, нет ресурса в индексе. Запретили якобы у вас он создан специально для обмана поисковых роботов мол напихал ключевиков и гребу траф. Сайт СДЛ. Хотя с виду кто то сказал однажды так "На первый взгляд ГС". Обидно. Там дизайн хромает, но как будет денег много то всё сделаю как надо. Ну да ладно, дело не в этом. Я сменил домен, сайт опать загнал в индекс, и потихому пошёл трафик на сайт. Теперь Платонам сайт просто так светить не буду. Вобщем сегодня в вебмастере яндекса заметил такую вещь:

Документ запрещен в файле robots.txt

Файл robots.txt содержит директиву, запрещающую роботу Яндекса индексирование этого документа. Чтобы робот мог проиндексировать документ, удалите запрещающую директиву. Проверить, какие страницы сайта запрещены для индексирования, вы можете в разделе «Анализ robots.txt».

При клике на ссылку robots.txt вылезает такое:

User-agent: Mediapartners-Google

Disallow:

User-agent: *

Disallow: /search

Sitemap: http://мой сайт/feeds/posts/default?orderby=updated

Что это и как с этим бороться? У меня блог на блогспоте, поэтому загрузить robots.txt в корень сайта не могу. Запрещено к индексации 153 страницы. Что делать? Забыть про них или как то можно вернуть в индекс?

Бурж хостинг ( https://vk.cc/8kDAui ) - Разрешён адалт. Секс по телефону ( https://vk.cc/6u7YCX ) - Мужской трафик конвертит на ура. Адалт дейтинг ( https://vk.cc/bZlb2J ) - Смарлинк с высоким EPM
The WishMaster
На сайте с 29.09.2005
Offline
2542
#1
Бумеранг777:
Засветил свой ресурс Платонам и всё, нет ресурса в индексе.

Сайт вообще нельзя светить!! Его нужно держать на отдельном компе, не подключенном к сети!

Бумеранг777:
Документ запрещен в файле robots.txt

Ссылка на документ тоже секретная?

Кому старенького креативного копирайтера? Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
[Удален]
#2
Бумеранг777:
Что это и как с этим бороться? У меня блог на блогспоте, поэтому загрузить robots.txt в корень сайта не могу. Запрещено к индексации 153 страницы. Что делать? Забыть про них или как то можно вернуть в индекс?

А зачем Вам эти страницы в индексе?

Вообще, наверное, логично догадаться, что речь идёт о страницах поиска (/search), которым в индексе делать-то и нечего. Тем более, если Вы не можете загрузить свой robots, то зачем вообще паритесь тем, что в нём запрещено (коли не можете изменить ситуацию, смиритесь в любом случае ;))?

Бумеранг777
На сайте с 08.02.2009
Offline
660
#3
Psycho:
А зачем Вам эти страницы в индексе?
Вообще, наверное, логично догадаться, что речь идёт о страницах поиска (/search), которым в индексе делать-то и нечего. Тем более, если Вы не можете загрузить свой robots, то зачем вообще паритесь тем, что в нём запрещено (коли не можете изменить ситуацию, смиритесь в любом случае ;))?

ну так страницы эти в индексе были а теперь нет. теперь в индексе как я понимаю то что я написал после выкидывания сайта платонами из индекса. так же думаю переехать на вордпресс.

я не знаю о каких страницах речь идёт но 153 страницы это не мало. они давали хороший трафик.

The WishMaster
На сайте с 29.09.2005
Offline
2542
#4
Бумеранг777:
я не знаю о каких страницах речь идёт

А посмотреть что мешает в вебмастере?

[Удален]
#5
Бумеранг777:

я не знаю о каких страницах речь идёт но 153 страницы это не мало. они давали хороший трафик.

Откуда Вы знаете, какой трафик они давали?

По логике это не могут быть иные страницы, кроме как страницы поиска - какой с них трафик, не представляю, честно говоря.

Бумеранг777
На сайте с 08.02.2009
Offline
660
#6

ну так я видел по гугл аналитик посещения с Яндекса. потом этих страниц не стало и трафа не стало. в итоге после смены домена прошло пару месяцев а в индексе после вчерашнего апа 60 страниц. до вчера около 47. значит те страницы не в индексе. вот как их разблокировать?

А посмотреть что мешает в вебмастере?

ну посмотрел, дальше что?

[Удален]
#7
Бумеранг777:
ну посмотрел, дальше что?

Ну и что Вы там увидели? Это страницы поиска? Если нет, то пишите в Яшку с вопросом, почему у Вас cтраницы, которые не закрыты в robots считаются закрытыми.

Бумеранг777
На сайте с 08.02.2009
Offline
660
#8
Psycho:
Ну и что Вы там увидели? Это страницы поиска? Если нет, то пишите в Яшку с вопросом, почему у Вас cтраницы, которые не закрыты в robots считаются закрытыми.

там страницы тегов у меня, правда я их использую как категории.

это у всех так?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий