В индексе только 1 страница. Которая запрещена в robots.txt

vpapazol
На сайте с 10.11.2008
Offline
88
945

Доброе утречко...

Есть сайт, которому еще и месяц не исполнился. В основном индексе пока отсутствует, кроме одной страницы. Которая, хм, запрещена в robots.txt

Как такое может быть?

Вообще robots.txt работает. У меня были страницы доставшиеся от движка, у них были паршивые title и description, которые я не мо изменить. Вебмастертул на эти страницы матерился всю дорогу.

Я запретил их в роботсе и вебмастертул постепенно подобрел...

Но вот как эта сраничка вывернулась?

С уважением, Папазол
Trean
На сайте с 28.10.2009
Offline
78
#1

Неправильно написали роботс значит.

Беру заказы на продвижение, также предлагаю качественные консультации и аудиты сайтов (обращаться в ЛС).
Kane-studio
На сайте с 09.03.2010
Offline
15
#2

раз за месяц вылез 1 тока значит вы запретили к индексации все кроме одной страницы ))

Дизайн Портфолио+отзывы (http://studio-kane.com/razrabotka-dizajna-john-kane.html) | Порно сайты по 10$ (http://studio-kane.com/izgotovlyu-adalt-tyuby-na-dle.html) Скупаю сайты (/ru/forum/492931)
[Удален]
#3

Покажите, что вы там написали в роботсе!

vpapazol
На сайте с 10.11.2008
Offline
88
#4
Kane-studio:
раз за месяц вылез 1 тока значит вы запретили к индексации все кроме одной страницы ))

Она-то как раз и запрещена.

А морда не запрещена, но ее нет в индексе.

kimberlit
На сайте с 13.03.2007
Offline
370
#5

А роботс когда появился? Не вчера? Покажи его лучше, а то до Кашпировского дозвониться не могу...

vpapazol
На сайте с 10.11.2008
Offline
88
#6
Evgeniy NN:
Покажите, что вы там написали в роботсе!

Это сайт аффилятского шопа и на первую секцию роботса я не могу

повлиять - она закрыта для меня. (вторая секция редактируется)

= = = = = = = = = = = = = = = = = = = = = =

User-agent: *

Crawl-delay: 8

Disallow: /catalog_1/

Disallow: /catalog_2/

Disallow: /catalog_3/

Disallow: /catalog_1/page_1.php

Disallow: /catalog_1/page_2.php

User-Agent: *

Disallow: /www.mysite.com/page_11.php

Disallow: /www.mysite.com/page_12.php

Disallow: /www.mysite.com/catalog_4/

= = = = = = = = = = = = = = = = = = = = = =

/catalog_3/ проиндексирован гуглем (там одна страница)

А морда - нет ! :(

O
На сайте с 23.03.2010
Offline
76
#7

User-Agent: *

Disallow: /page_11.php

Disallow: /page_12.php

Disallow: /catalog_4/

так нада писать

Но впринципе сайт разрешен к идексированию

Торгую криптовалютой на Binance (https://www.binance.com/?ref=18579692) и YoBit.Net (https://yobit.io/?bonus=LvxCK). Биржи без проверок документов
Willie
На сайте с 08.10.2008
Offline
200
#8
vpapazol:
/catalog_3/ проиндексирован гуглем (там одна страница)
А морда - нет ! :(

Ну, это запросто может быть.

Например, если запрет в РОБОТСЯ появился уже после того, как Гугол схавал страницу. В таком случае он может держать ее к кэше до трех месяцев. Я всегда удаляю принудительно, особенно, если какая-нибудь гадость попала (например, линкопомойка).

А вот где "морда" - сказать крайне затруднительно. Это очень редко бывает, чтобы главной страницы не было.

Попробовать мобильные прокси бесплатно: clck.ru/3EKDyC
Trean
На сайте с 28.10.2009
Offline
78
#9

В панели вебмастера проверьте, что для Гугла закрыто, а что нет. Там есть сервис для этого.

vpapazol
На сайте с 10.11.2008
Offline
88
#10
Willie:
Например, если запрет в РОБОТСЯ появился уже после того, как Гугол схавал страницу.

А вот где "морда" - сказать крайне затруднительно. Это очень редко бывает, чтобы главной страницы не было.

Так оно и было. Процесс воздвигания магазина походил в несколько этапов но довольно быстро - пара суток. До завершения я этот урль вообще н светил в гугле ниак. Не в ВМТ, ни в Аналитиксе,

ни в аддурилке. Неужели он успел прибежать и захавать никакой еще сайт?

И я нашел морду! Только не ту. Она без www, просто mysite.com

Что теперь - выкинуть ее из индекса и кеша принудительно?

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий