mixb зачем тебе трекить робота? Врядли он что-то купит ;)
В данном случае нагрузка на тебя, тк нам в принципе все равно какая ссессия у тебя там. Java тоже попадает в отрубание, просто у нас сейчас есть специальное условие на 32 символа на параметр ссессии, поэтому может пролезать все что короче или длинее дефолта.
Ну и само собой сделан механизм защиты от зацикливания в данном случае. Кстати вопрос учить краулера кукам или нет у нас до сих пор открытый, тоесть сделать не проблема, вопрос надо ли?
приведу пример на конкуренте, тк у нас такого не лезет откровенно:
http://www.yandex.ru/yandsearch?text=phpsessid&stype=www
Куки тут не причем, кучу сайтов построено так, что они просто редиректят на кривой урл типа domain/page?sses=ID и подругому либо не работают, либо работают но плохо. И что они там будут показывать не зависит от того, принимаешь ты куки или нет.
Вообще не слабо :)
линки мы пока не показываем. Сейчас решается вопрос показывать
вообще все, или начиная с какого-то WR'a минимального.
Вы скажите что нужно реально, сделаем.
Просто делать разные навороты искать в титлах и так далее
это надо только дорвейщикам для поиска гостевух и прочим
спамерам.
Моська тявкаен, а караван идет :)
когда ты смог проиндексировать 500млн? За 3 дня после того как написал в своем блоге что:
Хочу попросить прощение за столь долго “падение” с кодировкой на сайте и форуме о поисковых системах. Это связано с покупкой нескольких серверов для поисковой машины. В ближайшем будуйщем я смогу продемонстрировать первую альфа версию нашего поискового механизма. Мы планируем набрать базу в 500 млн документов к сентрябрю месяцу. Поэтому предложение по поводу оборудования нижу, всё ещё в силе.
Источник: http://o0o.ru/?p=12
PS. На этом форуме как-то можно человека в игнор поставить?
PHP ссесии мы рубим.
http://www.webalta.net/ru/about_webmaster.html
интересно это для кого писали?
морда -> о компании -> вебмастеру.
http://www.altaforum.ru/showthread.php?t=51&page=4
поить наверное да, а вот попить пивка вместе нет ;)
