Формируем FAQ

У кого есть желание, пусть дополнит информацией по FAST (Lycos), AltaVista, Inktomi (MSN, AOL, ...), Teoma, Meta-Ukraine, Turtle, Punto и др.

FAST (Lycos)

Для поиска всех страниц сайта достаточно в поисковой строке ввести запрос вида:

url.all:http://www.site.ru

Punto

Для поиска всех страниц сайта надо в строке поиска набрать доменный адрес сайта, после чего в результатах поиска нажать ссылку "Страницы с данного сайта" напротив интересуемого сайта.

К сожалению, точки считаются разделителями слов (кавычки не помогают), потому в начале может быть затруднительно найти свой сайт.

Спасибо всем, кто ответил на первый вопрос (замечания и дополнения приветствуются) -- начало FAQ положено. Если мы сможем формировать по одному вопросу-ответу в день, то уже через месяц неплохой FAQ будет готов.

Если вы знаете хорошее обсуждение на этом форуме по теме, затронутой вопросом, не забывайте привести ссылку -- в обсуждении могут высказываться разные мнения, пусть даже не до конца проверенные, это поможет новичкам лучше понять разные стороны проблемы.

Вопрос 2. Почему Яндекс (Google, Rambler, и т.д.) не индексирует мой сайт? Может, меня забанили? Как заставить его проиндексировать сайт?

С уважением,

Александр Садовский.

Есть несколько причин, по которым сайт не индексируется

1) Прошло недостаточно времени с момента заполнения формы добавления сайта. Самый быстрый - Яндекс. Если робот не загружен, то добавляемая страница появляется в результатах поиска уже через 3 часа. Мои страницы попадали в индекс самое позднее через неделю с момента добавления. У остальных поисковиков время обновления индекса существенно больше - можно начинать беспокоится месяца через полтора.

2) В момент визита робота поисковика сайт был недоступен или имел очень большое время отклика. Если сервер "тормозит" не постоянно, то рано или поздно сайт попадёт в поисковик. Через какое время - см. пункт 2.

3) Некоторые поисковики (Google) индексируют только те сайты, на которые есть хотя бы одна внешняя ссылка

4) Самая распространённая ошибка среди любителей использовать .htaccess - в результате применения директив ErrorDocument или RewriteRule робот поисковика при обращении к robots.txt получает от сервера код отличный от 200(OK) или 404 (Not Found) - некоторых роботов (Rambler) это вводит в ступор и индексация не произойдёт до тех пор, пока не ошибка не будет исправлена. Как избежать ошибки: в случае использования ErrorDocument всегда создавать robots.txt хотя бы и пустой, в случае использования RewriteRule быть аккуратным и всегда проверять код ответа сервера.

5) Неправильно написанный robots.txt. При попытке запретить индексацию сервера для какого-либо робота под правило попадают и другие роботы. См. пункт FAQ - как правильно составить robots.txt.

Также сюда можно отнести запрещение индексирования всего домена: в случае страниц вида http://домен/~пользователь/blabla.html локальный robots.txt работать не будет, а в общем robots.txt пользовательские страницы могут быть запрещены к индексации для уменьшения нагрузки на сервере. Как избежать ошибки - всегда проверять правильность составления robots.txt.

6) Тупые ошибки типа все url сделаны на JScript или во флэше, а также прочие проблемы дизайнерского характера пусть распишет кто-то другой.

7) О том что сайт забанен сообщает только Яндекс(?). При попытке повторного добавления выводится сообщение вида "Документ запрещён к индексации". Google о бане не сообщает, просто говорит, что документ принят к рассмотрению безо всяких гарантий.

Есть еще и восьмая причина - падение базы у поисковика. Это происходит, по моим расчетам на Яндексе в разной степени, примерно, раз в полтора месяца.

Вот только не уверен, что это стоит добавлять в ФАК.

По-моему, фразу

надо дополнить словами с документа, уже проиндексированного данным поисковиком

Согласен, но наверное более точной будет фраза сдокумента с ненулевым PR. Что я имею в виду: если есть три сайта (документа), один уже в базе и два новых. Причём со старого есть ссылка на один из новых, и есть ссылка между новыми. При очередном рассчёте PR оба новых сайта получат какой-то PR отличный от нуля и возможно оба же и будут проиндексированы. Это только предположения, т.к. в такие ньюансы я никогда не вникал, т.к. два сайта одновременно добавлять не пытался.

Это уже не FAQ будет ... Это действительно энциклопедия получится, если так тщательно всё прорабатывать :)

Точно, Interius! Вы лучше выпустите книгу под названием "Наиболее задаваемые вопросы о поисковых системах" успех обеспечен:)

ну что, Gray?

Не совсем согласен. Каково точное значение PR, мы никогда не узнаем, а бар Гугля запросто может показать непроиндексированной странице PR, отличный от нуля. Так что такая фраза может ввести в заблуждение.

Ладно, у Саши есть пища для размышлений :)