Yandex-Server-free

Я пока толком не разобрался, но натравливал на один свой мелкий сайт - реальный Яша уже которое время видит там 2 раза меньше документов\страниц, чем нашел Я.Сервер (Не сравнивал в чем именно разница выресовалась - говорю по цифрам проиндексированных страниц Я.Сервера и Я.).

Остановка первой индексации приводит не к тому, что индекс содержит мало страниц, а к тому что его вообще нет т.е. поиск не будет работать пока Я.Сервер не пройдется разок по всему сайту и сам не завершит индексацию, созданием индекса. Этот момент напряг сильно, когда я попытался натравить бота на Большой сайт (мелкий то из 44 страниц "индексился" чуть ли не полчаса, а конца индексации (тем более не видя какой то статусной информации о том, когда это дело кончится) Большого я не дождался был (все же тестировал Я.Сервер, а не прикручивал к реальному проекту))

+ Возникло ощущение, что как то уж медленно индексация идет (тазик загажен и сам по себе староват (P2.6 HT, 1Гб оперативы, XP+еще куча мусора память жрет) уже так что может дело в нем) :\

Выдача отличается (что естественно).

Тестил на локалке под виндой.

Но ставить на сервер и прикручивать к сайтам - ИМХО однозначно стоит :)

Вот такой вот сумбур мыслей :)

А по ресурсам, в процессах ( во время индексации ) много памяти и проца сжерал?

Просто у меня VDS и сайты с ~200 тыс страниц. А на VDS 500Mhz и 256 метров памяти. Думаю на такой конфигурации эти 200 тыс. страниц будут всю жизнь индексироваться :)

4 минуты назад натравил повторно на локальную версию крупного сайта

По процессам - Я.Сервер - не более 1-5% , php - 4-15%, mysql -9-25%

Данные нельзя считать чистыми т.к. попутно дают нагрузку (общая по системе - 40-90% ) azureus (качает\раздает) +outpost то ли от Я.Сервера грузится, то ли от торрента + касперский.

Когда закончит - отпишусь - будут хоть слабо ориентировочные данные.

(По кол-ву страниц - соизмеримо, если не больше)

не, не судьба, на 4м часу сканирования комп ребутнулся и все коту под хвост

начинать с нуля не тянет - когда выпадет время, уже буду пробовать ставить на линуксовские рабочие серверы и их мучать.

Так что, если кто еще тестил - welcome в топик с Вашими данными :)

Ставил на VPS FreeBSD (причем достаточно слабый 300MHz, 64 оперативка), сайт из 16 тыс. страниц сервер скушал где-то часа за полтора-два.

О! Вот это уже больше похоже на нормальную работу. Наверное под винду он не особо шустрый :))

А как сам индекс получился? Выдача хорошая?

Банить страницы можно? 😆 😆 😆

Выдача хорошая, буду теперь наверное для всех сайтов внутренний поиск делать на яндекс.сервер.

Чтобы увеличить скорость индексации можно поиграться с параметрами Threads и QueueSize в конфигурационном файле.

Я тут Яndex.Server использовал как поисковик по сетевым ресурсам. Написал свой индексатор, который индексировал расшаренные ресурсы и заносил нужную инфу в базу данных, а Яndex.Server до версии 3.6.1 мог индексировать базы данных... Решил тут обновиться, но к великому огорчению узнал, что теперь индексирование баз данных не поддерживается. Если у кого есть версия "Яndex.Server 3.6.1 - Декабрь 1, 2006" - отзовитесь! В этой версии есть расширенные возможности фильтрации и поиска по дате...

А вы поколдовать попробуйте, может и найдете сходство.

Вопрос такой: сайт у меня большой, если запускать каждый день и индексатор будет индексировать старые новости, статьи и прочий контент, то времени это займет не мало.

По умолчанию в настройках стоит indnew indmod skipold remmiss, то есть "не индексировать неизменные документы".

1. Но как сформировать это время для динамического скрипта, ведь Apache или выдает в качестве него какую-то определенную дату (например текущую) или вообще не выдает ее.

2. Принудительно поставил в php скрипте header("Last-Modified: Mon, 02 Oct 2006 02:04:36 GMT"); - смотрю по логам все равно индексит.