Что нужно делать, если новый сайт не индексируется (инструкция)

Присмотритесь к точке в запросе. Возможно в ней дело?

Господа, а что означает

"Сервер вернул код ошибки 302"

хотя у меня никакого редиректа нет на сайте.... robots.txt отсутствует...

раньше я в хтакцесс ставил 301-ый редирект... чтобы поменять сайт индексировался без www... потом убрал, как все нормально стало.... может, здесь что в яндексе перепуталось?

на сайте много дублированного с точки зрения яндекса, но переработанного контента (законодательство в определенной сфере)..

может, яндекс склеил чего?

поддержка яндекса не отвечает... вернее один раз ответили, что разберемся и исправим.... но с тех по ни слуху, ни духу

что тут может быть...? спасет ли перенос сайта на другой хостинг?

Новичек, нет, увы, ни с точкой, ни без точки "не канает"..=)

Ну раз тема про индексацию... Есть еще и такой вариант. Сайтик в доменной зоне инфо вылетел из индекса. Паршивенький, правда, для тестов, но суть не в том. До вылета замечательно индексировался. Робот sfront40.yandex.ru сейчас жрет трафик ого-го :-))

На досуге писал в Яндекс. После первого письма пришел ответ.

спустя 3-4 недели написал еще раза 4 - и тишина...

Так что инструкций на все случай жизни не напишешься.

Как и обещались, финальная редакция (после обсуждения и добавлений):

0. Для начала все же проверяем – действительно ли Яндекс не знает ни одной вашей страницы, для этого вставляем в строку браузера такую ссылку-запрос:

http://www.yandex.ru/yandsearch?surl=searchengines.ru&pag=u&numdoc=50&rd=0 ,

только вместо searchengines.ru вписываем свой сайт. И только если там ничего не будет, тогда начинаем читать дальше.

После этого лезем на сервер, в логи, или просим их у хостера/админа и ищем там

Yandex/1.01.001 (compatible; Win16; I)

– это бот индексатор, если он заходил, то ваш сайт или части сайта скорее всего появятся в Яндексе после следующего апдейта. Узнать был ли апдейт можно здесь /ru/forum/search-engines/yandex

по теме, в которой у многих «поднялось» и у многих «упало» 😂 .

Единственное исключение из этого правила, когда в логах после Yandex/1.01.001 (compatible; Win16; I) стоит код ошибки «HTTP/1.1 404 Not Found». Это будет говорить о том, что индексатор заходил, но ваш сервер не дал ему прочитать страницу (если так и есть, то переходим к разделу 6).

Если индексатора не было, то читаем дальше.

1. Возможно, яндекс не знает сайт, даже если вы добавляли его в форму http://webmaster.yandex.ru (ну, бывает так, везде техника глючит).

Устанавливаем внешние ссылки (хотя бы одним из вариантов).

а) Проходим по белым каталогам и регистрируем там свой сайт. Список белых каталогов тут: http://wlist.com.ru/ .

б) Устанавливаем одну, две жирные ссылки с главных страниц других сайтов на свой сайт (если у вас знакомый – попросите на месяц, если нет, тут на форуме можно купить, ищите в подписях форумян или тут /ru/forum) .

Если вы все это делали месяц-два назад, но ничего не помогло, то переходим к разделу 2.

2. Проверяем на наличие санкций (бан) и техническую возможность индексации.

Заходим на http://webmaster.yandex.ru , добавляем главную страницу сайта в форму (аддурэлка)

Варианта ответа Яндекса тут 3:

б) …. сайт запрещен к индексации …. (значит либо бан, либо что-то не так с файлом robots.txt) идем в раздел 3.

в) …. сайт недоступен …. (идем в раздел 4)

а) …. сайт будет проиндексирован …. (значит ни бана, ни технических проблем, скорее всего, нет – идем в раздел 5)

3. Ищем, почему запрещен к индексации.

Тут варианта 2

а) раздел сайта или сайт запрещен к индексации в файле robots.txt, он лежит в корне вашего сайта. Смотрим, что конкретно запрещено к индексации на вашем сайте по этой ссылке

http://www.yandex.ru/cgi-bin/test-robots?host=searchengines.ru (searchengines.ru естественно нужно заменить на адрес вашего сайта). Если Яндекс показывает, что не все в порядке, тогда идем сюда и ищем как сделать правильно, исправляем и начинаем с пункта 2 заново.

б ) если с файлом robots.txt все нормально, то «запрещен к индексации» - это и есть скорее всего бан, в этом случае идем в раздел 6. Примечание: бан нового сайта, если он не был в выдаче, маловероятен, поскольку бан может быть произведен, если на вас кто-то пожаловался, а это может быть, если вы были в выдаче. Конечно, всегда есть вероятность, что сайт был в выдаче, но вы просто не успели этого заметить.

4. Ищем проблемы на сервере

а) пытаемся набрать URL своего сайта в бразуре, если все нормально, то все равно есть вероятность, что видите его только Вы, переходим к пункту б.

б) просим зайти на сайт кого-нибудь из другого города, а лучше из другой страны, мало ли, вдруг у вас в городе проблемы с Интернетом, и сайт не видно снаружи. Если никто из друзей не может помочь, то заходим на сайт через прокси сервер. Список прокси можно найти здесь: http://www.leader.ru/secure/ (там будет ссылочка «топ анонимных прокси»). Чтобы зайти через прокси нужно в Internet Explorer в «Сервис» => «Свойства обозревателя» => «Подключение» => «Настройка сети» установить галочку «Использовать прокси сервер» и поставить его IP и порт из предыдущей ссылки.

Если все нормально, то переходим к пункту в.

в) еще раз идем в форму http://webmaster.yandex.ru и делаем добавление любой страницы сайта, после этого лезем на свой сервер (где крутится сайт) или просим хостера предоставить логи вашего сайта. В файле логов ищем Yandex т.е. Вам нужна свежая строчка HTTP/1.1" 200 286 "-" "Yandex/1.03.003 (compatible; Win16; D)", обратите внимание на последнюю букву D – это робот, который говорит Яндексу, что страница существует, а вам говорит, что Яндекс технически способен достучаться до вашего сайта.

г) на всякий случай идем сюда http://www.be1.ru/stat/ и набираем адрес проблемного сайта с косой чертой «/» в конце.

Внизу страницы будет написано:

Заголовок - размер _________, ip _______________

HTTP/1.1 200 OK

Если там не «HTTP/1.1 200 OK», то показывайте этот ответ своему админу или хостеру. Тыкайте их носом и говорите «не порядок, нада поправить»

5. Решаем проблемы с яндексом.

Для начала все же еще раз удостоверимся, у Яндекса ли проблемы или у Вас (хотя, в принципе, если Яндекс вас не индексирует, то проблемы в любом случае у Вас, Яндексу от этого не на много хуже живется ).

Идем и смотрим, а вообще другие поисковики знают Ваш сайт? Например Гугль.

Вводим в браузер эту строчку, но вместо https://searchengines.guru/ ставим свой сайт.

http://www.google.com/search?&q=allinurl:https://searchengines.guru//+site:https://searchengines.guru/

Если там не пусто, то пора и в Яндекс писать.

Начинаем:

Адрес поддержки имени Платона Щукина addurl собака уandex-team.ru

Адрес обычной поддержки support собака yandex.ru

Но лучше отправлять через форму http://feedback.yandex.ru/?from=webmaster ,

поскольку отправка сообщения через форму почти гарантирует, что ваше письмо не будет отброшено новым модным антиспамовым фильтром. Мне, например, решили проблему через 2 дня после отправки через форму, а на письма не отвечали месяц.

В письме указываем (все вежливо):

Имя сайта:

Что он отвечает HTTP/1.1 200

Что добавлялся много раз и давно (месяц, два, три) с http://webmaster.yandex.ru

Что есть внешние ссылки и даже Тиц

Что проиндексирован другими поисковиками

Что бот D заходит после добавления в форму http://webmaster.yandex.ru

Что бот I так и не зашел.

Говорим «заранее благодарен за помощь».

Не забываем, что сабжект письма должен говорить о том, что у вас проблемы с индексацией сайта, а не просто «не фурычит что-то»

Ждем, если ответа нет неделю, повторяем письмо.

6. Решаем проблемы с баном.

На всякий случай пишем в Яндекс, чтобы узнать забранен ли сайт?

После получение подтверждения о бане лезем на свой сайт, исправляем косяки и пишем серьезное и немного слезливое, но короткой письмо, типа …. бес попутал … наняли черного опитимизатора … теперь все исправлено … больше так не будем …. пожалуйста снимите бан….

Ждем ответа, если нет неделю, повторяем опять.

Спасибо за редакцию: Новичек

Спасибо за добавления: Спаня, Lenka, semenov и других форумян

Теперь, если модераторы захотят можно вешать в статьи или фак.

А как быть со страницами которые яндекс "выплевывает" ? )

С внутренними? ) есть какие-то исключительные советы как сделать так, чтобы оно не выпадало или хотя бы быстро обратно возвращалось?

Да, да очень интересный вопрос

в принципе действия все те же что и описывались (проверить скорость хоста, посмотреть что выдает сервак, ждать, писать платону и т.д. все по мануалу)

Мне кажется можно в этот FAQ включить пару слов и о abort core dump - часто вопрос задается (сам в свое время задавал).

Прочитал ВСЕ несколько раз, одно и тоже написано, и понял, что аффтор жжет.

Вот вам еще капельку!

То, что профи не прикрепили эту инструкцию вполне логично - им лень все консолидировать и писать книги на каждую тему форума, а то он не нужен иначе будет, а книги сейчас не модно читать :-)

Напишу уж портяночку для накопления опыта, не удержался.

Ранее занимался проблемами индексации сайтов в целях борьбы с деструктивной пессимизацией, о которых вроде не написано в инструкции выше.

Всего не перечислить, но и то, что написал - редкость, неиндексация правда тоже редкость.

В дополнение!

Ну к примеру если возникают проблемы технического характера связанные с человеческим фактором такие как (сталкивался лично):

1. Отрубание электричества эксплуататорами помещений по ночам для экономии.

2. Настройка директив .htaccess или файерволов на запрет доступа с некоторых подсетей.

3. Добавление блоков типа display:none в конце страницы как тут например: www.baltic-bread.ru в конце кода, более злостных чем эти (оптимизаторы).

4. Гигантский текст скрипта до контента, который усложняет работу робота и анализ.

5. Всякие сомнительные яваскрипты и системы авторизации.

6. Всякие сомнительные ыйфреймы и флешки.

7. Долгое соединение с БД или отгрузка страницы сервером, зависание при запросе нескольких страниц сразу (на самописных и кривонастроенных системах контента), кривые НС сервера, кривые прокси, конфликты адресов, частая смена IP адресов в транспорте, проблемы маршрутизации.

9. Злобный, черный спам в сети прежним владельцем доменного имени, ссылки.

10. Многократное запихивание сайта в форму добавления может привести к ошибкам в расписании заходов индексером.

11. Тэги, запрещающие индексацию внутри html.

12. Неверное построение кода html, фатальные ошибки в верстке, кодировка и размеры страниц и текста, тип и расширение генерируемых страниц, кол-во, мегатяжелая графика.

13. Неверная техническая информация о документе в ответе сервера.

14. Нелюбимая доменная зона или домен высшего уровня, не настроенный www.сайт.ру

15. Надо быть уверенным в том, что сайт не дорвей и т.д., т.к. просто пропустите 2- дневный аншлаг, а сапорт Вам не будет лично разъяснять спамер Вы или полный lol. Такой сайт будет всегда в беспонт фильтре.

Что вспомнил сейчас, написал, но есть больше всего.

Большинство ответов надо искать в логах сервера, но это не для новисов полюбэ.

В общем это, конечно, не все, и гуры, надеюсь, согласятся со мной, что есть еще много всяких пакостей. Ибо чтобы нападать надо уметь обороняться.

Но я написал, чтобы знали, что бывают и другие проблемы, иногда даже связанные с преднамеренным нанесением финансового и морального ущерба лицами с допуском к сайту, управлению доменом и маршруту трафика.

Критиковать необязательно, т.к. я на 100% уверен в своем опыте :-)

Что понравится можете добавить в свою инструкцию или нет :-)

Желаю всем успехов в разборе полетов.