Сайт индексируется, но не кэшируется на сервере гугла

12
R
На сайте с 07.04.2011
Offline
28
2452

Здравствуйте, есть сайт который плохо индексируется гуглом: бот на него заходит но страницы не скачивает.

Раннее он (сайт) был полностью закрыт от индексации, в следствии чего, все страницы были исключены из индекса. Потом был восстановлен нормальный роботс, но гугл все равно страницы не добавляет, и в ранжировании участвует только главная страница.

Набираю запрос:появляется моя главная страница, НО если нажимаю "копия сохраненной страницы" гугл выдает

404 The requested URL /search?q=cache:Jr1ObPQJxbcJ+&cd=1&hl=ru&ct=clnk&gl=ru
was not found on this server. That’s all we know.

Подскажите, что можно сделать? Может кто сталкивался с подобной проблемой.

Вот код ответа главной страницы:

Код статуса HTTP: "200 OK"

Время ответа сервера: 322мс

Заголовки:

Expires: Thu, 19 Nov 1981 08:52:00 GMT

Set-Cookie: PHPSESSID=8p9067ilau90t017ih7t0hjfi7; path=/

Connection: keep-alive

Server: nginx/1.2.3

X-Powered-By: PHP/5.3.3-1ubuntu9.5

Cache-Control: no-store, no-cache, must-revalidate, post-check=0, pre-check=0

Pragma: no-cache

Date: Thu, 11 Oct 2012 05:45:47 GMT

Transfer-Encoding: chunked

X-Powered-CMS: Bitrix Site Manager (2afa3cdd8fde6bf7807002555378c6ff)

Vary: Accept-Encoding

P3P: policyref="/bitrix/p3p.xml", CP="NON DSP COR CUR ADM DEV PSA PSD OUR UNR BUS UNI COM NAV INT DEM STA"

Content-Type: text/html; charset=UTF-8

Кодировка: UTF-8

Размер страницы: 43.47Кб

Ах да, месяц назад был создан еще один сайт, который является точной копией моего просто доменное имя немного другое, так вот он индексируется хорошо...

Snake800
На сайте с 02.02.2011
Offline
216
#1
Cache-Control: no-store, no-cache

Может в этом причина?

Артм
На сайте с 28.04.2011
Offline
218
#2

Присоединяюсь к вопросу, совсем недавно заметил аналогичную проблему на одном из сайтов.

Индексируется быстро, страницы в поиске, переходы идут, но сохраненка в Гугле показывает 404.. Почему?

Snake800:
Может в этом причина?

А что это такое, и где это лечиться?

Поставки из Украины чего угодно* в любую точку мира. Любой Download трафик льем сюда (https://offergate.pro/r/1575). От 5р (снг) до 20р (ру) за установку. Успех — это умение двигаться от неудачи к неудаче, не теряя энтузиазма.
Snake800
На сайте с 02.02.2011
Offline
216
#3

Заголовок HTTP. Может устанавливаться непосредственно в php методом header, в .htaccess и в самой конфигурации сервера. Вот например статейка: http://htmlweb.ru/other/http_headers.php

E
На сайте с 21.09.2009
Offline
283
#4

Rents, тега noarchive нет на страницах? В инструментах что показывает "посмотреть как гугле бот"?

Snake800
На сайте с 02.02.2011
Offline
216
#5
Rents:
Ах да, месяц назад был создан еще один сайт, который является точной копией моего просто доменное имя немного другое, так вот он индексируется хорошо...

С этого и надо было начинать. Правильно: один сайт закрыли, запретили кэширование, развернули на новом адресе - шож Вы теперь хотите?

R
На сайте с 07.04.2011
Offline
28
#6
Snake800:
Rents:
Ах да, месяц назад был создан еще один сайт, который является точной копией моего просто доменное имя немного другое, так вот он индексируется хорошо...

С этого и надо было начинать. Правильно: один сайт закрыли, запретили кэширование, развернули на новом адресе - шож Вы теперь хотите?

Первый сайт(2 года ему) закрыл нечаянно, в роботе прописал лишний знак и закрыл главную(будь я Проклят) через два дня исправил но страницы уже вылетели( а на втором сайте(1 месяц)я указал в качестве зеркала первый но гугл похоже директиву host не учитывает в роботс.

KU
На сайте с 09.07.2009
Offline
61
#7

Бывает такое ссылка есть, а кеша нету. Возникает в трех случаях, страница только попала в индекс, страница была в индексе но где-то поставили noarchive, страница скоро будет удалена из выдачи. Обычно все приходит в порядок(пропадает ссылка, появляется кеш, пропадает страница) в течении недели где-то.

R
На сайте с 07.04.2011
Offline
28
#8
easywind:
Rents, тега noarchive нет на страницах? В инструментах что показывает "посмотреть как гугле бот"?

Тег noarchive не стоит...

---------- Добавлено 12.10.2012 в 09:25 ----------

Karl_ung:
Бывает такое ссылка есть, а кеша нету. Возникает в трех случаях, страница только попала в индекс, страница была в индексе но где-то поставили noarchive, страница скоро будет удалена из выдачи. Обычно все приходит в порядок(пропадает ссылка, появляется кеш, пропадает страница) в течении недели где-то.

Если все как вы говорите, то у меня первый случай: страница только попала в индекс после того, как была исключена из нее из за закрытия в robots.txt

Заметил что в основной выдаче только главная, а другие страницы находятся в supplemental выдаче и у них статус стоит "Описание веб-страницы недоступно из-за ограничений в файле robots.txt." НО, я то уже открыл их неделю назад еще

E
На сайте с 21.09.2009
Offline
283
#9

Rents, Блокировка и удаление страниц с помощью файла robots.txt по последнему пункту "Проверка файла robots.txt" проверте страницы.

R
На сайте с 07.04.2011
Offline
28
#10
easywind:
Rents, Блокировка и удаление страниц с помощью файла robots.txt по последнему пункту "Проверка файла robots.txt" проверте страницы.

Проверял конечно)) все нормально

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий