87793: Я бы Вас понял, если бы Вы ответили мне "входящие ссылки также можно будет смотреть". Вы описАлись? Или так было задумано, как Вы ответили?
Проблема в чём: интересно как раз посмотреть входящие на анализируемый сайт ссылки - не только по количеству и статистическим параметрам, но на каком сайте и в каком месте какая ссылка стоИт.
Это будет?
Ёхан Палыч: На здоровье. Только терзают меня смутные сомнения, что вам это под силу. Озвучьте приблизительные "требуемые вычислительные и канальные ресурсы", интересно узнать.
А опрос, да, покажет наличие интереса и спроса, и что? Закончится как с Яплатоном?
С Вашего разрешения озвучивать сейчас я не стану, простите.
Закончится может как стартом проектирования так и ничем, Вы правы. Собственно чтобы понять спрос и создана эта тема.
estafa добавил 12.11.2009 в 16:14
Dallas184: Или 5вмз в месяц уже точная цифра, которая вылезла из предполагаемой клиентской базы и предполагаемых затратах на проект?
P.S. Я бы пользовался, но до поры...
5 вмз - цифра не точная. Это очень предварительная стоимость минимального пакета.
87793: Правильно ли я понял из приведенного перечня, что по входящим ссылкам будет даваться их количество и статистическая информация, а вот страницы, с которых ссылки ведут, - лишь по исходящим ссылкам с анализируемого сайта?
Исходящие ссылки со страниц так же можно будет смотреть.
estafa добавил 12.11.2009 в 15:39
Ёхан Палыч: Это слишком простая арифметика. И абсолютно не точная - отнимите 10% неделегированных доменов и добавьте поддомены бесплатных хостингов. Да что там говорить, сам яндекс не совсем точно знает (или не показывает) сколько документов у него есть. Пример rhost="ru.*" - 219 млн страниц, вполне подъемно, а нет, смотрим домены на букву А rhost="ru.a*" - 180 млн страниц, вот те раз, rhost="ru.s*" - 233 млн страниц, вот те два. Это не учитывая уже забаненные или еще не проиндексированные. Для начала, так сказать для пробы пера, estafa, сделайте сервис по исходящим ссылкам с searchengines, с ежедневным обновлением. Это такусенький, малипусенький кусочек сможет продемонстрировать ваши способности, заодно вы сразу почувствуете часть сложностей парсинга всего Рунета.
Ёхан Палыч, спасибо за заботу о том как бы я не надорвался. У нас есть похожий проект, правда там все несколько проще и написан он всего для одного заказчика. Позволю себе повториться, я знаю объем задачи и требуемые вычислительные и канальные ресурсы для ее реализации. Сейчас мне важно понять интересно это коллегам или нет.
estafa добавил 12.11.2009 в 15:42
CatRegist: estafa, спрос есть, реализации есть. Вопрос только в одном - достаточные вычислительные мощности для поддержки актуальности. Если вы решите этот вопрос, то многие и 100,200,300,400 будут платить с удовольствием за анлимы.
зы. да не надо под это дело целых ДЦ (там задача реально проще) - главное прямые руки и правильный алгоритм, ну и десяток сервачков.
Ёхан Палыч: Нет, у меня нет денег на датацентр. Вы для начала посчитайте, что нужно сделать, а потом проводите опрос, так как сервис показывающий точно даже 50% ссылок (что достаточно неплохо) на самом деле не имеет никакого смысла.
MGRLX: Я бы 100% пользовался.
Но думаю ничего не получится у вас, работа слишком гигансткая, а ведь рунет беспрерывно нужно будет переиндексировать. Это ж сколько серверов иметь нужно.
Спасибо, но немного не то. Нужен простой список.
вот по ру
http://domains.ihead.ru/domains/new.html
argon555 добавил 18.01.2010 в 16:53
просто смысл перелопачивать такой массив данных?
У вас есть списочек или просто удивлены количеством?
взял info - количество доменов второго уровня в зоне .info превышает 4 миллиона. ничего себе списочек... :)
Не Джумла точно: http://akcyz.com.ua/administrator/
Внизу написано Версия 3.0, а джумла 1.5.15 последняя.
Я бы Вас понял, если бы Вы ответили мне "входящие ссылки также можно будет смотреть". Вы описАлись? Или так было задумано, как Вы ответили?
Проблема в чём: интересно как раз посмотреть входящие на анализируемый сайт ссылки - не только по количеству и статистическим параметрам, но на каком сайте и в каком месте какая ссылка стоИт.
Это будет?
Да, будет.
На здоровье. Только терзают меня смутные сомнения, что вам это под силу. Озвучьте приблизительные "требуемые вычислительные и канальные ресурсы", интересно узнать.
А опрос, да, покажет наличие интереса и спроса, и что? Закончится как с Яплатоном?
С Вашего разрешения озвучивать сейчас я не стану, простите.
Закончится может как стартом проектирования так и ничем, Вы правы. Собственно чтобы понять спрос и создана эта тема.
estafa добавил 12.11.2009 в 16:14
Или 5вмз в месяц уже точная цифра, которая вылезла из предполагаемой клиентской базы и предполагаемых затратах на проект?
P.S. Я бы пользовался, но до поры...
5 вмз - цифра не точная. Это очень предварительная стоимость минимального пакета.
Правильно ли я понял из приведенного перечня, что по входящим ссылкам будет даваться их количество и статистическая информация, а вот страницы, с которых ссылки ведут, - лишь по исходящим ссылкам с анализируемого сайта?
Исходящие ссылки со страниц так же можно будет смотреть.
estafa добавил 12.11.2009 в 15:39
Это слишком простая арифметика. И абсолютно не точная - отнимите 10% неделегированных доменов и добавьте поддомены бесплатных хостингов.
Да что там говорить, сам яндекс не совсем точно знает (или не показывает) сколько документов у него есть.
Пример rhost="ru.*" - 219 млн страниц, вполне подъемно, а нет, смотрим домены на букву А rhost="ru.a*" - 180 млн страниц, вот те раз, rhost="ru.s*" - 233 млн страниц, вот те два. Это не учитывая уже забаненные или еще не проиндексированные.
Для начала, так сказать для пробы пера, estafa, сделайте сервис по исходящим ссылкам с searchengines, с ежедневным обновлением. Это такусенький, малипусенький кусочек сможет продемонстрировать ваши способности, заодно вы сразу почувствуете часть сложностей парсинга всего Рунета.
Ёхан Палыч, спасибо за заботу о том как бы я не надорвался. У нас есть похожий проект, правда там все несколько проще и написан он всего для одного заказчика. Позволю себе повториться, я знаю объем задачи и требуемые вычислительные и канальные ресурсы для ее реализации. Сейчас мне важно понять интересно это коллегам или нет.
estafa добавил 12.11.2009 в 15:42
estafa, спрос есть, реализации есть. Вопрос только в одном - достаточные вычислительные мощности для поддержки актуальности. Если вы решите этот вопрос, то многие и 100,200,300,400 будут платить с удовольствием за анлимы.
зы. да не надо под это дело целых ДЦ (там задача реально проще) - главное прямые руки и правильный алгоритм, ну и десяток сервачков.
Спасибо, про анлимы ценная информация!
Нет, у меня нет денег на датацентр. Вы для начала посчитайте, что нужно сделать, а потом проводите опрос, так как сервис показывающий точно даже 50% ссылок (что достаточно неплохо) на самом деле не имеет никакого смысла.
Абсолютно согласен.
Тогда озвучьте, приблизительно, количество (документов) страниц в RU, чтобы прикинуть объем работ.
Вы тоже хотите сделать подобную систему? :)
Поверьте, я это прекрасно понимаю.
Я бы 100% пользовался.
Но думаю ничего не получится у вас, работа слишком гигансткая, а ведь рунет беспрерывно нужно будет переиндексировать. Это ж сколько серверов иметь нужно.
нет это будет скорее что-то похожее на "мегаиндекс"
Да, но только для ссылок и с более развитой аналитикой.