Очень разумная и правильная позиция, не могу согласиться больше.
А кстати вот это мне очень интересно с практической точки зрения. Есть примеры реализации? Что имеется в виду под "типичным поведением ботов" и причем тут структура сайта? Проясни мысль, не понял. Если данные для формирования страниц берутся из разных таблиц, то как разработчик может их расположить на диске определенным образом? Кластерные индексы, насколько я был в курсе до сегодняшнего дня, упорядочивают данные в таблицах, но таблицы друг относительно друга никак не упорядочиваются. Также, кластерный индекс будет достаточно сильно сказываться на скорости изменения данных и давать выигрыш только при чтении. И к тому же я был уверен, что линуксовая файловая система по производительности не сильно теряет от фрагментации файлов на диске, поэтому тут можно говорить исключительно о роли движка СУБД как о кэширующем в памяти данные с диска механизме (чего у неё не отнять, конечно).
stealthy добавил 26.10.2009 в 15:46
bearman, нет, Perl. А какая разница на чем писать? Алгоритмы работы с данными реализуются везде одинаково. Сразу уточню, что мы реализовали некоторый специализированный движок, заточенный под нужды именно веб-приложений. По мере удаления о целевого назначения движок будет терять в эффективности, хотя у нас он стоит как отдельный блок в антиспам системе, например.
bearman, БД сервер сделали. Не очень понятно что вас удивляет, вы что, никогда не участвовали в крупных проектах? Время затраченное на разработку коробочного продукта складывается отнюдь не только из кодирования. Впрочем, "профессиональный программист" должен это понимать. А людей, которые недооценивали задачи я в жизни встречал пачками. К сожалению, учиться у них нечему.
stealthy добавил 26.10.2009 в 15:30
Слава Шевцов, а это было не ехидство. Я тонко намекнул, что при сравнении абстрактных крайних случаев результат будет не сильно полезен. Я согласен с тем что ты тут написал, но при условии "абстрактного сравнения" СУБД и файловой системы. Если говорить о конкретных применениях в контексте оговоренной ТС задачи, то п.5 все сказанное тобой превращает в не очень полезную информацию. А по мелочам можно спорить до хрипоты, не вижу смысла. Я видел достаточно баз, которые в память не помещались, а также проводил нагрузочное тестирование в реальных боевых условиях, которое показывало что для подавляющего большинства веб-сайтов наличие СУБД никак на скорости работы не сказывается, поскольку можно реализовать то же самое быстродействие и на файлах, а все что сверху слить на nginx или squid. Да и про перепозиционирование головок я не стал бы так заявлять, будто в операционках никаких кэшей нет между винтом и его встроенными аппаратными кэшами и приложением пользователя. Не вижу смысла туда копать сейчас, не в том суть.
Соответственно, поскольку ты безапелляционно заявил, что "база на файлах будет работать существенно медленнее" - это справедливо только в теории. На практике существенной разницы в запрошенном ТС контексте не будет.
Не люблю трейдеров. И не бегаю за курсом. Я понял для себя одну вещь - всех денег не заработать и не сэкономить, лучше для нервной системы выбрать стратегию и её придерживаться, изредка корректируя и не переживая из-за внезапного ослабления доллара или евры.
Согласен с оговоркой - производство (в смысле "производство приносящее деньги") рулит неважно где, в любой стране.
И еще момент. Вот вы пишете про
Как то так. Не в деньгах счастье, в общем, а в наличии их потока. Теряешь работу/бизнес/доход - это проблема. А потеря какого-то количества бабла из кубышки - не проблема. Хотя тема наверное немного не о том, сорри.
Причем, заметьте, тех у кого денег много это волнует меньше, чем тех у кого их мало. Че толку переживать если любое движение курса на десятки копеек будет приводить с появлению или пропаданию сумм с тремя-четырьмя нулями в пересчете на какую-то валюту (естественно, что все деньги в одной валюте никто не держит). Из этого же вытекает минус - работать неохота становится, если ты видишь что то, что заработаешь за месяц-два-три просто исчезает и появляется из-за колебаний курса.
В России нет евр. Их никто не понимает из покупателей. Даже скатавшись в Европу и расплачиваясь там еврами и видя ценности в еврах, я привычно перевожу все в баксы или рубли, мыслить еврами не получается. И так большинство моих покупателей. А если твои покупатели не мыслят еврами, то счет им в еврах выставлять противопоказано.
Да и вообще, смысл не в конкретной валюте. Смысл в потоке товарно-денежном. Главное чтобы он не уменьшался или даже рос в бизнесе, а уж в какую валюту все это конвертировать чтобы в кубышку отложить - это вопрос тридцатьдесятый.
Да да, у файловой системы же нет никаких кэшей, а СУБД хранит все данные в оперативной памяти и к диску никогда не обращается.
Слава, ты вообще читал что я написал? О какой выгрузке в HTML идет речь, если человек делает сайт под SAPE (с большой вероятностью)?
Сайт кинул в личку, хотя не очень понимаю что вы там увидите. Ну да мне не жалко :).
А насчет покупать в забугорных биржах - тут есть три обстоятельства:
- нужно там регистрироваться, учиться там работать, писать свои скрипты всё автоматизирующие, чтобы не ручками все делать, платить новым отдельным способом (кредитку подключать и все такое). это гемор. тут уже все финансовые потоки и манипуляции отработаны, вкалывают роботы, а не человек.
- я не уверен что западные биржи, коих тоже по пальцам одной руки можно перечесть (больших типа TLA) не под колпаком Гугла. хотя тут я делал поиск, кто-то для Германии приводил список из 5 бирж, что ли, но когда я начал разбираться - их масштабы мизерны.
- пока на англонет меня устраивает нащупанная схема работы в САПЕ + я продвигаю ссылками в последнюю очередь. в первую - естественные ссылки, контент, мета-тэги (тайтл и дескрипшн, киворды Гугл игнорирует как рисовал Wolf в табличке), внутренняя перелинковка + свои ресурсы в тех же доменных зонах и на том же языке.
stealthy добавил 26.10.2009 в 05:09
Кстати говоря, в Гугле вообще все эти региональные вещи видны очень явно и просто просматриваются. В отличие от Я. У меня была попытка сделать копию RU проекта под UA-нет. Копил com.ua, сделал сайт, накупил ссылок по тому же принципу - исключительно с сайтов *.ua зоны, благо в САПЕ их как грязи. Так вот я до сих пор не понимаю почему украинцы переходят на этот сайт через яндекс.ру в основном и почему головной ресурс в зоне RU в Я.УА стоит выше чем тот в зоне UA. В общем, какие-то непонятные (лично мне) пока телодвижения в Я с региональными выдачами, даже заморачиваться перестал на всё это.
flamey, учитывая что Перловщиков тут немного, скорее всего широкой популярности скрипта ты не увидишь. Хотя наверное кому-то это и было бы полезно. Лично мне смотреть сумму "за сегодня" неинтересно, поскольку если у тебя несколько десятков проектов и ты активно их развиваешь, тебе нужна аналитика другого рода. Хотя бы по каналам и датам и очень желательно в графическом виде. Все приложения которые я видел в этом смысле написано давно и не работают (поменялся формат вывода, не работает графика и т.п.). Если бы вы написали что-то подобное, что позволило автоматически чертить графики дохода по каналу за последние Х дней, например, то ценности конечно тут было бы в сотни раз больше. Конечно и без этого можно прожить, иначе Гугл давно бы это сам реализовал. Но все же это была бы полезная штука.
BTW, я детально не смотрел код, но вижу что вы вырезаете сумму дохода регексом цепляясь за знак доллара в том числе. Как я понимаю, многим на форуме если не уже то скоро будут актуальны циферки со значком евры.
Я вроде написал чуть выше достаточно понятно. Продвинетесь, но плохо и не там где нужно. Основной принцип - попробуйте встать на место разработчика (Гугла в данном случае) и прикинуть как бы вы реализовали что. Гугл индексирует весь мир. И выдача у Гугла разноязыковая и разнорегиональная.
Предположим, у вас есть англоязычный сайт для буржуев. Вы накупили ссылок на русском языке (язык) на российских сайтах (география). Что Гугл сделает за вывод? Вероятно, что ваш сайт для тех, кто говорит по-русски и кто ходит в инет из России, поскольку такие ссылки говорят Гуглу о том, что сайт стал популярен именно в таких кругах. А какая была задумка вебмастера ему все равно, хотя наверное и IP сайта и его кодировка и его язык при прочих равных тоже потом сыграют.
Предположим, вы накупили английских ссылок но на тех же российских сайтах. Что за вывод сделает Гугл? Условно, что ваш сайт интересен тем пользователям, которые ходят из России, но при этом говорят по английски. Например экспатам, туристам в поездке, бизнесменам в командировке и так далее. И ваш сайт будет показываться в выдаче на территории России для тех, кто ходит на google.com а не ru и у кого английские настройки браузера, оси и тп (ну что там передается на сервер в общем из локалей).
Понятно, что нет четких границ, и если английский сайт будет иметь контент очень хорошо релевантный к запросу то его покажут и в США и в Новой Зеландии даже с российскими ссылками. Но как правило в буржунете конкуренция высокая по широченному спектру запросов. Поэтому при прочих равных сайт для американцев (на их языке) обросших американскими же ссылками будет более высоко стоять в выдаче чем ваш, обросший российскими ссылками.
Соответственно, если мы хотим продвинуться там, нужно максироваться под американский сайт. Кодировка, язык, расположение сервера, география ссылок (доменные зоны для ссылок, географический код донора и т.п.) - все это будет иметь значение. Понятно, что при определенных усилиях можно пробить каким то одним параметром все остальные. Я, например, сервера для американцев хощу в России и в Германии, пока не вижу проблем. А вот сервера для немцев - исключительно в Германии.
В общем, тут нет конечно 100% рецептов, это всего лишь мои выводы из личного опыта, с которыми возможно кто-то и поспорить захочет, но меня это уже не сильно касается.
Не очень понятно что вы переполошились. Я работаю в системе и как О и как ВМ, соответственно не вижу никаких проблем с неподтвержденными заявками. Для О, который не хочет покупать откровенный шлак и который при этом не может положиться на Автофильтры целиком существует только один путь: ставится автофильтр в режиме полуавтомата, который накупает ссылки (делает те самые заявки), но которые потом О должен подтвердить руками. Естественно, если у ВМ при этом тоже стоит ручное подтверждение, то ему приходится сначала эти заявки самому утвердить, а потом уже эти ссылки утверждаются или не утверждаются Оптимизатором. Вот и все. Причины не утверждения ссылок у каждого Оптимизатора свои, может страница не в индексе при проверке оказалась, может на сайте вирус, может он порнушный оказался, может это ГС явный... Поэтому если вам не нравится что заявки не подтверждаются - подумайте, проверьте все ли в порядке с вашим сайтом. В конце концов нужно понимать, что Оптимизатор стремится накупить максимально качественных ссылок на те деньги что у него есть, и это нормально. Если какой сайт вам не нравится тем, что он делает заявки но не подтверждает их - вы можете отправить его в БЛ, хотя на мой взгляд это глупо, т.к. вы теряете часть дохода в будущем. Мало ли, может факторы перестанут действовать и ссылку купят.
Конечно, ВМ, который все ссылки ручками (или с помощью плагина Wink'а) каждый день аппрувит это может быть несколько неприятно, видеть что из 100 предложений в ссылки превращается 8-9, но если вас что-то бесит, нужно писать скрипт и автоматизировать работу. Меня бесило, теперь не бесит - у меня что продажу, что покупку делают скрипты, да и у всех крупных SEO контор, как я понимаю, тоже не человеки этим занимаются. Поэтому это выбор каждого - обижаться на того кто платит бабки и злиться, или принять правила игры и перейти на другой уровень, чтобы получать деньги и удовольствие.
