А это проценты от процентов? То есть это 25,5 от 28% (что даёт около 8%)? А уже от них ещё у четверти - непустой путь?
Тогда это меньше 2% от всех, что действительно немного и совпадает с мировой константой - числом тех, кто настраивает defaults или пользуется языком запросов.
Или всё-таки 25,5% от общего числа сайтов, то есть это почти все из 28%?
Я, возможно, не прав, потому что помню ситуацию 4-хлетней давности, когда мы разбирались с этим в Рамблере.
Но у меня есть стойкое ощущение, что robots.txt используется редко.
Насчёт того, что мы не делаем свой поисковичок - почему не делаем, делаем. Как раз эволюционным путём. Вот сделали Новотеку - поисковичок по новостям. Теперь выпустим Апликату - по товарам. Сейчас будем делать специальные поисковики с партнёрами, которые знают свою предметную область. Автомобили, туризм, медицина, фитнес, что там ещё?
Технология для создания своих специальных поисковиков есть, приходите к нам за франшизой: мы вам хостинг, развитие и поддержку поисковика, вы - описание своей области, подборку сайтов, настройку, бизнес-модель. Ставим рекламу, спонсоров, что там ещё бизнес-модель предусматривает. Доходы поделим по-честному.
А я и не гуру. Если я ничего не путаю, гуру - это такой немытый худющий индийский буддист, сидящий в холодной пещере в Гималаях, который объясняет, что надо отрешиться от всех привязанностей, чтобы навсегда умереть и больше не видеть всего этого безобразия.
Пример развития по пути а) - Спамтест. Мы его начали делать в 2001 году, когда спама было не очень много (но Вы, Филипп, наверно, молоды и можете и не помнить этих сказочных доисторических времён). Сделали, отладили, постепенно поставили на Mail.ru, РБК, в Билайн и МТС, РТКомм и Мастерхост и так далее... Возились, возились, возились четыре года, наконец продали Касперским, чтобы заняться другими делами. Было это мучительно, как любой выпуск конечного продукта в коробке. Чем вам не результат - чуть не половину всех почтовых ящиков в Рунете защищает?
Пример пути а) и пути б) одновременно - Рамблер. Сначала он развивался эволюционно, на свои, и был первым в Рунете, а потом продали его финансовым гениям, влили $6М, после чего он и потерял в итоге своё первое место.
Что касается перетягивания клиентов, то тут что-то не то. Вы, скорее всего, не в курсе реальной ситуации. Мы клиентов не перетягиваем, у нас на это сил нет. Мы не успеваем работать со всеми теми, кто сам к нам идёт. А идёт крупный бизнес в последнее время.
И в частности, это прямой результат статей, конференций и семинаров.
Неужели вы думаете, что мы живём с конференций? Мы же не РОЦИТ. Очень часто конференции проходят в убыток или бесприбыльно, особенно первый-второй раз.
Поэтому, возможно, дело в другом: может быть, что ваш клиент попросил нас провести аудит вашей деятельности - это больше похоже на правду, чем борьба за "аудит сайта" - операцию дешёвую, которую мы делаем обычно вообще бесплатно.
Я про этот случай ничего не знаю, потому что занимаюсь в основном другими проектами, технологическими, но могу узнать.
Не факт, кстати, (если это так) что наши аудиторы ругали вашу работу.
Мы стараемся быть осмотрительными и вести себя аккуратно на рынке, и просто так конкурентов не ругать, только за то, что они конкуренты.
В той паре случаев аудита, которые я помню, мы обнаруживали, что сторонний оптимизатор всё сделал правильно. Как и в тех случаях, когда аудировали нашу работу.
Мне просто кажется, что и эти-то проценты - просто оттого, что вебмастера что-то слышали о том, что такой файл должен быть.
А реально его программируют (пишут каталоги, маски) единицы.
С Новым годом!
Спасибо на добром слове. На самом деле, я, конечно, не бываю всегда прав. Чаще не прав, как и всякий.
Про затраты на поиск:
Вообще можно развиваться двумя способами: а) на небольшие средства венчурного инвестора или приятеля из другой отрасли (инвестора-ангела) построить свой поисковичок нового поколения, постепенно расширять индекс, постепенно завоёвывать популярность, ждать известности, крупных инвесторов. Не тратиться на рекламу, рассчитывать на "вирусный маркетинг" своей гениальной идеи, то есть рекламу из уст в уста. Так, между прочим, в своё время поступил Гугл.
Стоимость проекта здесь будет поначалу маленькая, но и видимость в сети тоже будет маленькая. Таким путём можно идти с 3-5 человеками в начале, на нескольких серверах. Но это только начальные вложения будут небольшими. А срок появления на радарах будет большим - 2-3-4 года. Основные средства сожрёт зарплата, а поскольку её придётся платить долго, то денег в конце концов потребуется изрядно. Ну и терпение у инвестора тоже потребуется.
б) Напротив, можно сразу взять больших денег у большого инвестора, сразу всё сделать "по-хорошему", рассчитывая на быстрый успех, широкую раскрутку рекламой, быстрый отъём доли рынка у Яндекса и Рамблера.
Сотни серверов, дорогие циски, толстые каналы, многотерабайтные хранилища, инфраструктура, офис, десятки программистов, сразу дополнительные сервисы вокруг поиска. Потом реклама, пресс-конференции, радио, телевизор. Этим путём, кажется, хочет идти Гурешов (UMAXSearch) со своей Вебальтой.
Стоимость этого варианта оценить проще. Если вы хотите быть как минимум не хуже Рамблера и Яндекса, то нужно вспомнить, что у них по 50-100 программистов, и серверов под поиском стоит по нескольку сотен (скоро будет больше 1000).
Тогда вам потребуется минимум 3-5 миллионов долларов, чтобы просто повторить такую инфраструктуру. И она будет жрать ещё 1-2 миллиона в год самое меньшее.
Это если даже если у вас есть гениальная технологическая идея, которая может сэкономить на серверах и людях. Но обычно, в последнее время, гениальные идеи касаются новой невиданной функциональности, а не вовсе не экономии. Экономией пользователей не привлечёшь.
Таким образом, нужно 5-7 миллионов, чтобы просто повторить сделанное, и ещё 2-3 в запасе на период выхода на окупаемость.
А окупаемость возникнет только от трафика, который возникнет только при отъёме доли рынка и обретении популярности.
Но тут в расчёте нет главного - расходов на захват доли рынка, на маркетинг, пиар и рекламу. Это подсчитать труднее - кто его знает, а можно ли вообще методом грубой силы подвинуть Яндекс?
В любом случае это миллионы и миллионы в год. Я бы даже не взялся пока оценивать маркетинговые расходы.
Нет, не понял, что имелось в виду. Любой сайт в Интернете непрерывно выкачивают сотни поисковых роботов. Запретами на выкачку практически никто не пользуется - во-первых, для этого нужно иметь квалификацию, во-вторых, нужно иметь какие-то необычные причины не хотеть выкачки страниц, каковые причины есть далеко не у всех.
Кроме того, сайты выставляются в Интернет ровно для того, чтобы их могли увидеть все. Кто выставляет не для всех - закрывает страницу паролем.
Поэтому любой ваш конкурент может поставить у себя на персональном компьютере качалку (которых полно в Интернете) или просто сохранять ВСЕ видимые в сети страницы вашего сайта методом copy-paste прямо из браузера в свой личный архив, и вы никаким файлом robots.txt этого запретить не можете.
Мы же просто облегчаем это самое ручное копирование, так что вообще-то robots.txt тут совсем не при чём. Мы даём хостинг персональному поисковику, и всё. Мы, конечно, слушаемся запретов robots.txt, чтобы не конфликтовать с сайтовладельцем, хотя использование запретов - это чрезвычайно редкая вещь.
Ну и последнее: на мой взгляд, что внимание конкурентов, что любое другое внимание в сети - это то, чего добивается владелец сайта. И он желает так или иначе управлять этим вниманием.
Если вы увидите, что вас активно изучают через наш сервис - это повод неявно поуправлять этим вниманием. Если вы считаете, что это изучают конкуренты - пишите новости так, чтобы посеять в них панику и растерянность, или чтобы сманить у них лучших сотрудников. Или чтобы найти себе место потеплее, или чтобы сбить их с толку. Ну и так далее.
Пусть читают.
Разве не так?
А вот зачем:
а) личный мониторинг. Яндекс, скажем, не индексирует западные сайты. Гугль индексирует, но в своём ритме. Приказать ему проиндексировать сегодня вы не можете. Это нужно, действительно, немногим.
б) просто поиск по своему сайту. Мы дадим средства для его включения на своём сайте. Это нужно многим. Сейчас это сделать не так просто - нужно либо брать или покупать Яндекс-сайт, который крайне мучителен в установке, далее договариваться с хостером, чтобы разрешил поставить чужое ПО, либо делать самому, либо использовать встроенные приблуды в системе управления сайтом и т.п.
в) создание тематических поисковиков для всех. По области, которую вы лично хорошо знаете. Скажем, по медицине или фитнесу.
Сейчас вы не можете этого сделать легко и без усилий - у вас нет технологии, и даже если взять открытый поиск типа многопоиска, то нужно нанимать программистов для наладки и поддержки и т.п. А тут вы просто подписываетесь на услугу, а поисковик хостится у нас, и следит за ним наша служба подержки.
Ну, а регистрация - а как иначе вы будете получать уведомления по электронной почте, спрошу для начала?
Сергей, Вы совершенно правы. Хочу только заметить, что Вы пишете это на форуме, который посвящён исключительно выкачиванию чужих сайтов для показа посторонним людям. Здесь вообще ни о чём другом не разговаривают.
Конечно, выкачка сайтов с целью показывать их всем, кому угодно, возмутительна и бесчестна. Я советую Вам для начала забанить на своём сайте следющие адреса:
66.249.65.***
213.180.206.***
81.176.76.***
Подлые хозяева этих IP выкачивают сайты не по-детски - десятками тысяч страниц и показывают их потом кому угодно, в том числе Вашим конкурентам.
Миллионеров на конференции было в количестве. Уверяю вас. Просто они одеты так же и говорят, как простые участники, без понтов.
Долгов - не пожиже. А погуще.
Вроде бы он уже договорился с Гуглем. Откроются в начале года, я думаю. И поскольку он сильный разработчик в прошлом (Энциклопедия Кирилла и Мефодия, БСЭ на CD, Озон), про дорвеи он будет понимать.
Я надеюсь, на нашей конференции по рекламе и маркетингу в Интренет в марте (http://e-target.ru) он уже будет.
