Яндекс отказывается индексировать сайт :((

The Look
На сайте с 25.09.2002
Offline
131
971

Сайт в зоне .ru

Добавлен через Яндекс.Вебмастер

Однако Яндекс индексирует только главную страницу. При попытки добавить в индекс любые другие пишет - Указанный URL запрещен к индексации.

robots.txt на сайте отсутствует.

В первый раз с таким сталкиваюсь... Что делать?

профессиональный интернет-маркетинг (http://www.okkervil.com)
sashavmk
На сайте с 25.06.2010
Offline
16
#1

1)Попробуй в закладках покидать ссылки на внутренний странички сайта.

2)Закинь robots.txt

3)Создай карту сайта с помощью бесплатных сервисов. Благо их сейчас много.

Сегодня при переходе из Рассудка в Разум не приходя в Сознание скончался Смысл!! http://www.vostok-t.ru/ (http://www.vostok-t.ru/)
Straifer1
На сайте с 23.05.2007
Offline
164
#2
The Look:
Сайт в зоне .ru
Добавлен через Яндекс.Вебмастер

Однако Яндекс индексирует только главную страницу. При попытки добавить в индекс любые другие пишет - Указанный URL запрещен к индексации.
robots.txt на сайте отсутствует.

В первый раз с таким сталкиваюсь... Что делать?

Похоже на АГС, напишите Платону, уточните в чем проблема.

sashavmk
На сайте с 25.06.2010
Offline
16
#3

Для начала все же проверь – действительно ли Яндекс не знает ни одной вашей страницы, для этого вставляем в строку браузера такую ссылку-запрос: http://www.yandex.ru/yandsearch?surl...numdoc=50&rd=0 ,

только вместо searchengines.ru вписываем свой сайт. И только если там ничего не будет, тогда начинаем читать дальше.

2) Проверяем на наличие санкций (бан) и техническую возможность индексации.

Заходим на http://webmaster.yandex.ru , добавляем главную страницу сайта в форму (аддурэлка)

Варианта ответа Яндекса тут 3:

сайт запрещен к индексации …. (значит либо бан, либо что-то не так с файлом robots.txt)

тогда

Ищем, почему запрещен к индексации.

Тут варианта 2

а) раздел сайта или сайт запрещен к индексации в файле robots.txt, он лежит в корне вашего сайта(что в твоем случии не вариант судя по твоим словам). Смотрим, что конкретно запрещено к индексации на вашем сайте по этой ссылке

http://www.yandex.ru/cgi-bin/test-ro...archengines.ru (searchengines.ru естественно нужно заменить на адрес вашего сайта). Если Яндекс показывает, что не все в порядке, тогда идем сюда и ищем как сделать правильно, исправляем и начинаем с пункта заново.

б ) если с файлом robots.txt все нормально, то «запрещен к индексации» - это и есть скорее всего бан, в этом случае решаем проблемы с баном.На всякий случай пишем в Яндекс, чтобы узнать забранен ли сайт?После получение подтверждения о бане лезем на свой сайт, исправляем косяки и пишем серьезное и немного слезливое, но короткой письмо, типа …. бес попутал … наняли черного опитимизатора … теперь все исправлено … больше так не будем …. пожалуйста снимите бан….

Ждем ответа, если нет неделю, повторяем опять.

Примечание: бан нового сайта, если он не был в выдаче, маловероятен, поскольку бан может быть произведен, если на вас кто-то пожаловался, а это может быть, если вы были в выдаче. Конечно, всегда есть вероятность, что сайт был в выдаче, но вы просто не успели этого заметить.

сайт недоступен ….Ищем проблемы на сервере

а) пытаемся набрать URL своего сайта в бразуре, если все нормально, то все равно есть вероятность, что видите его только Вы, переходим к пункту б.

б) просим зайти на сайт кого-нибудь из другого города, а лучше из другой страны, мало ли, вдруг у вас в городе проблемы с Интернетом, и сайт не видно снаружи. Если никто из друзей не может помочь, то заходим на сайт через прокси сервер. Список прокси можно найти здесь: http://www.leader.ru/secure/ (там будет ссылочка «топ анонимных прокси»). Чтобы зайти через прокси нужно в Internet Explorer в «Сервис» => «Свойства обозревателя» => «Подключение» => «Настройка сети» установить галочку «Использовать прокси сервер» и поставить его IP и порт из предыдущей ссылки.

Если все нормально, то переходим к пункту в.

в) еще раз идем в форму http://webmaster.yandex.ru и делаем добавление любой страницы сайта, после этого лезем на свой сервер (где крутится сайт) или просим хостера предоставить логи вашего сайта. В файле логов ищем Yandex т.е. Вам нужна свежая строчка HTTP/1.1" 200 286 "-" "Yandex/1.03.003 (compatible; Win16; D)", обратите внимание на последнюю букву D – это робот, который говорит Яндексу, что страница существует, а вам говорит, что Яндекс технически способен достучаться до вашего сайта.

г) на всякий случай идем сюда http://www.be1.ru/stat/ и набираем адрес проблемного сайта с косой чертой «/» в конце.

Внизу страницы будет написано:

Заголовок - размер _________, ip _______________

HTTP/1.1 200 OK

Если там не «HTTP/1.1 200 OK», то показывайте этот ответ своему админу или хостеру. Тыкайте их носом и говорите «не порядок, нада поправить

сайт будет проиндексирован

Решаем проблемы с яндексом.

Для начала все же еще раз удостоверимся, у Яндекса ли проблемы или у Вас (хотя, в принципе, если Яндекс вас не индексирует, то проблемы в любом случае у Вас, Яндексу от этого не на много хуже живется ).

Идем и смотрим, а вообще другие поисковики знают Ваш сайт? Например Гугль.

Вводим в браузер эту строчку, но вместо https://searchengines.guru/ ставим свой сайт.

http://www.google.com/search?&q=alli...archengines.ru

Если там не пусто, то пора и в Яндекс писать.

p.s. на основе статьй Геннадий0

The Look
На сайте с 25.09.2002
Offline
131
#4

Главная страница сайта нормально индексируется, находится в индексе Яндекса и с Яндекса есть заходы на сайт.

robots.txt на сайте отсутствует. Соответственно, никаких запретов на сканирование нет.

Проблем с доступностью сайта нет.

Судя по всему, придется перепиской с Яндексом заниматься...

AD
На сайте с 22.06.2010
Offline
80
#5

Не знаю какие у вас сомнения - по-моему, чистый АГС.

OPTIMER
На сайте с 05.01.2006
Offline
497
#6

The Look, Я.В это давно не способ и не был никогда, автор :) Ссылки внешние и нормальный ресурс внутренне. Вот залог успеха. Да и по хуизам скорее зарегается))).

оО Раскрутка сайтов без абон. платы, единоразово от 100.000 руб.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий