- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Суть проблемы:
Большой сайт - порядка 200000 страниц
Вот уже в течении полугода ни одна из поисковых систем не может его проиндексировать!
У Яндекса и Рамблера проиндексировано порядка 4000-5000 тысяч страниц(в неделю Яндекс прибавляет по 300-400 страниц) РАмблер вообще непонятно как индексирует, лучше всего проиндексировал Апорт - около 15000 страниц.
Сайт не динамический! Роботам были скормлены специальные страницы содержащие ссылки на ВСЕ документы! Причем в каждом документе есть ссылки на другие и т.д.
Вопрос: почему индексирует ТАК медленно и что надо сделать чтобы повысить скорость индексации!
Заранне спасибо за советы!
для индексирования объемных сайтов везде существуют особенные правила, со службами поддержки связывались?
для индексирования объемных сайтов везде существуют особенные правила, со службами поддержки связывались?</font>
В Рамблере ответили стандартной отговоркой, что не индексируют динамический страницы(это было когда они вообще ничего не проиндексировали, а через несколько дней появилось первые 3 с лишним тысячи страниц - этот объем держится и по сей день), а в Яндексе ответили следующее:
проиндексировано менее 4000 документов. И это закономерно. Ограничения на количество просматриваемых документов существуют. При каждом
заходе на сайт это прежде всего страницы, на которые чаще всего ссылаются, в основной своей массе неизменившиеся с последнего захода, и только
потом добираются новые, до сего момента неиндексируемые. Решение проблемы индексирования больших сайтов - установка на сервере поисковой
программы Яndex.Site (вторая версия) (http://www.comptek.ru/yandex/yansite.html) со специальным модулем, который отдает на индексирование только
изменившиеся (новые) страницы.
Честно говоря, для такого большого сайта, как Ваш, никакого другого разумного решения просто не просматривается. Впрочем, Вы предвосхитили наше
предложение, значит интересовались этой программой и сочли ее для себя непреемлемой. Возможно, Вы правы. Яndex.Site хорош для какого-нибудь
обобщенного магазина, владелец которого почему-то уверен, что общедоступный бесплатный сервис должен ежедневно менять ассортимент на его
полках. Ваш сайт статичен и основная проблема - проиндексировать его целиком.
Попытаемся "дедовскими методами", но Вы поймете, что это не выход.
1. Прежде всего "избавиться" от второстепенного контента - форумы, доски, архивы, статистика, версии на других языках, другие кодировки и т.д., закрыв
все это от индексирования с помощью файла robots.txt , оставив только собственно энциклопедии. Надо понимать, что всего перечисленного у Вас
неощутимо мало, если вообще имеется. В любом случае имеет смысл оставить для робота только "самое-самое"...
2. Создать на сайте несколько условных очагов индексирования, обычно это директории. Из каждого такого очага вручную через форму AddURL
добавлять по несколько десятков страничек. Если они уже есть в базе и дожидаются своей очереди на индексирование, это не сработает. Если
добавляются впервые, должно помочь. Самое главное - не перестараться, не саббмитить тысячами - иначе сработает антиспамовая программа и вообще
все запретит.
Вот, собственно, и все. Ничего иного пока не дано.
</font>
В Апорте к сожалению просьбу проигнорировали...
Я как-то на досуге занялся подсчетами - так вот получилось, что для полной индексации сайта потребуется более(!)... 4 лет!!!
Большой сайт - порядка 200000 страниц
Вот уже в течении полугода ни одна из поисковых систем не может его проиндексировать!</font>
Кстати, во время Кубка России по поиску пара ответов лучше всего находилась именно на Вашем сервере. Так что польза от его индексации очевидна.
Мне кажется, путей может быть несколько.
Первый, самый простой и самый дорогой -- договариваться с поисковиками об оплате ускоренной индексации. Возможно, это будет плата деньгами, возможно, баннеропоказами. Например, подобный подход давно применяют Inktomi (для небольших сайтов), FAST. Как вариант этого решения для Яндекса вполне походит Yandex.Site, для Inktomi -- Index Connect, для FAST -- fastsitesearch. Возможно, на условии, что после полной индексации сайта Вы его уберете, Яндекс значительно снизит цену на программу (как бы аренда вместо покупки).
Второй путь, не исключающий первый -- создать большое число ссылок на самые важные разделы сайта. В поисковиках, применяющих PageRank, в первую очередь индексируются именно страницы с наибольшим весом. Так как Вас интересует однократная индексация, то ссылки могут быть временными, то есть в случае договоренностей с другими сайтами можно предлагать довольно льготные условия (баннеропоказами или как-то еще).
Третий путь, не исключающий первый и второй -- создание большого числа доменов (можно третьего и четвертого уровня), указывающих на самые важные разделы сайта, чтобы поисковики воспринимали эти домены как отдельные сайты, а не как часть целого. Это поможет избежать лимитов времени/объема по индексации, которые есть для индивидуальных сайтов.
С уважением,
Александр Садовский.