а подробнее?
А Гугл, Яху, Рамблер поддерживают?
Так и я ж о том, если криво или не соответствует RFC. Жмем на разных сайтах в gzip года четыре уже, испльзуя разные средства - проблем с индексацией замечено не было.
Вообще-то, современные браузеры шлют заголовок Accept-Encoding, в котором перечисляют поддерживаемые алгоритмы сжатия. Например, Accept-Encoding: deflate, gzip. И только, получив от браузера этот заголовок, сервер должен отдавать сжатый соответствующим методом контент (при этом установив заголовок ответа Content-Encoding: gzip). Это по RFC...
В моей практике был случай, когда движок одного из сайтов был настроен таким образом, что контент сжимался всегда, независимо от того, установлен ли заголовок Accept-Encoding. В итоге большинство браузеров из разных мест отображало все нормально, а у клиента (на удаленке) вылазила абракадабра - у него был какой-то древний браузер :)
Практически все сегодняшние браузеры поддерживают gzip, а вот шлет ли бот того же Яндекса заголовок Accept-Encoding и проверяет ли Content-Encoding не знаю - специально не поверял. В итоге, если gzip на сервере настроен криво (или используется кривые средства "собственной разработки" для сжатия в gzip), а бот SE не шибко вумный, могут возникнуть проблемы с расшифровкой и индексацией. Но это в теории :) Интересно, кто-то проверял поведение разных ботов на этот счет?
Хотя большинство современных средств/модулей для сжатия в gzip соответствуют требованиям RFC, и волноваться, наверное, не стоит. Плюс в скорости загрузки страниц пользователю будет ощутимым: скорость загрузки одной страницы нам как-то удалось уменьшить в 7-10 раз...
Да, если других технических проблем нет, этого должно быть достаточно. Ну и не забудьте скормить www.cybertender.ru Яндексу (http://webmaster.yandex.ru/) или ссылок наставьте.
У Вас в robots.txt основным зеркалом прописан домен cybertender.ru (без www), в то время, как с этого домена настроен 301-ый редирект на www.cybertender.ru. Т.е. Рамблер и Гугл в конце концов разберутся с основным зеркалом сайта и будут его нормально индексировать, т.к. не понимают директиву Host, а вот Яндекс явно в замешательстве: ему говорят, что основное зеркало сайта - cybertender.ru, а оттуда "постоянно" шлют на www.cybertender.ru.
Или пропишите основным зеркалом домен с www, или перенастройте редирект с www.cybertender.ru на cybertender.ru (наоборот).
http://www.openx.org/ (бывший OpenAds) - бесплатен, достаточно мощный
А может, просто http://www.adriver.ru/ ?
У-у-у... Тема поднимается с завидной регулярностью, пора уже в фак выносить.
egoryich, ответьте для себя на следующие вопросы:
1. Требуется поиск по БД или по страницам сайта.
2. Поиск должен быть полнотекстовым? Нужна ли морфология?
3. Есть ли закрытые от SE разделы, по которым тоже нужно искать?
4. Есть ли в наличии кодеры, готовые "подрихтовать" имеющиеся решения? Какие технологии/языки программирования используются?
Я так понял, рассматриваете только бесплатные решения? Тогда из готового:
http://sphinxsearch.com/
http://mnogosearch.org/
http://dataparksearch.org
http://company.yandex.ru/technology/products/Yandex-Server/features.xml
Обеспечат полнотекстовый поиск с русской морфологией по сайту и по БД. Достаточно документации по установке-настройке-использованию.
Еще из аналогов:
http://www.htdig.org/
http://hyperestraier.sourceforge.net/
http://risearch.org/rus/
http://lucene.apache.org/nutch/
Обеспечат примерно тот же функционал, что и предыдущая группа, за исключением разных ньюансов. Вобщем, по готовым поисковым движкам советую посмотреть:
http://www.searchtools.com/tools/tools-opensource.html
http://www.opennet.ru/prog/sml/77.shtml
http://searchengines.o0o.ru/
http://www.jvetrau.com/2007/10/18/obosnovanie-resheniy-ispolzovanie-metrik-pri-vyibore-tehnologiy/
Из решений предоставляемых SE: Яндекс.XML, Google API, xml-сервис от GoGo и им подобные. Если их выдача (поиска по Вашему сайту) устраивает, то вполне нормальный вариант. Очевидный минус - при проблемах с индексом Вашего сайта в конкретной SE, поиск на Вашем сайте перестает нормально работать. Помимо этого ограничения на кол-во запросов, необходимсть откручивания их рекламы и т.д. Обо всем этом написано на сайтах самих сервисов.
Возможно, что Вам хватит возможностей полнотекстового поиска самой СУБД. Тогда советую прочитать:
http://www.habrahabr.ru/blog/webdev/24953.html
http://forum.mysqlperformanceblog.com/s/f/4/
Об организации поиска по сайту вот этот ресурс очень неплох, хотя и на англицком:
http://www.searchtools.com/
Что-то как-то криво поставил кота... Какая ОС? На FreeBSD работает связка nginx+tomcat, могу выслать краткий мануал, как ставить.
Автор, обратил внимание на этот вопрос?
