justtheman: Пользуюсь Вашим сервисом вместе с RDS баром. Доволен) Подскажите, когда Solomono пишет "склеен", что имеется виду?
"склеен" пишет непосредственно сам RDS Bar, когда получает ответ от сервиса только для основного домена. поясню:
- вы находитесь на sss1.example.com
- RDS Bar отправляет запрос для получения данных о sss1.example.com, а в ответ выдаются данные для всего example.com (т.е. для его родительского домена) и пишется надпись "склеен". Другого случая для статуса "склеен" нет.
Белый Ум: Я бы мог предложить:
Папрсинг внешних ссылок со всех сайтов. типа solomono.
Т.е. составляете граф всех внешних ссылок с сайтов с учетом "веса" страницы, рассчитываете вес каждой страницы(допустим от 1 до 1^10). Данные продаёте тем кто покупает ссылки и анализирует доноров/конкурентов.
Я бы купил.
Я извиняюсь, что не в тему:
1. вы можете предложить формат графа?
2. вес страницы уже рассчитан - Google PR. Зачем пересчитывать вес, если он будет равен ~PR?
Белый Ум добавил 21.09.2010 в 23:40 буду рад если ответите - я тоже писал пауков, очень интересует вопрос - а как анализируются динамические страницы?
спасибо за отзыв! развитие идет своим чередом. сейчас основная работы это отладка паука и анализа страниц, поскольку были проблемы с качеством и поступили хорошие резонные замечания от пользователей и коллег.
одно из таких замечаний, видимо, как раз поступило от вас. хотя я пока не уловил, в чем может быть проблема.
все Url вида http://www.asd.ru/asd/?asd=111d&ddd=222 до 256 знаков - отдельные страницы. различий между статическими и динамическими страницами не делается.
Solomono добавил 22.09.2010 в 21:14
Alex Klo: заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
(перед выдачей чего ж не проверить?)
добрый вечер. как правильно заметил sokol_jack перепроверка "на лету" в любом случае будет занимать время. вы задали очень хороший вопрос, поскольку такая проверка действительно нужна,
но технически проще (и разумнее) обеспечить хорошую актуальность базы данных для всех доменов, чтобы % несовпадений на данный момент был несущественным. над чем и работаем.
Solomono добавил 22.09.2010 в 21:22
sokol_jack: А что с точки зрения паука - "динамическая страница"?
Есть необработанные линки - заходим, вытаскиваем все ссылки, сохраняем что и где, добавляем в необработанные, начинаем с самого начала.
Есть ссылка на страницу - зайдем. Нету - не зайдем...
Все просто и логично.
Граф ссылок для среднего по размеру сайта у меня получался где-то 1.5-2 мегабайта. Но это я наверное много хранил лишнего. Основная проблема - это скорость записи в БД при работающих 20 потоках паука... Тут только кеширование в памяти + периодический сброс на диск помогает.
ПыСы. На ASP.NET public часть, а БД - MS SQL? Там замечательные partitioned tables и indexes есть, если что ;)
мы с вами очень схожи в методах и оценке :)
Solomono добавил 22.09.2010 в 21:33
Также рад сообщить, что теперь данные с solomono.ru вы можете увидеть в RDS Bar — плагине для быстрого анализа показателей сайта.
Сейчас бар (помимо всего прочего) показывает кол-во ссылок in/out (по уровням вложенности), количество уникальных доменов in/out, анкоры первых 100 ссылок на / с сайта.
юни: Solomono, список ссылок действительно неполон.
Вы можете рассказать про техническую часть, сколько серверов используется, сколько потоков, алгоритм обхода сайтов и пр.?
Если не секрет, конечно.
Проект - коммерческий, поэтому, к сожалению, информацию о технической части я дать не могу. Я только могу отметить, что, как вы правильно заметили ранее, объем базы данных пока не вышел на рабочий уровень, но это вопрос времени.
Instructor: Не нашел я цен на сайте, а вообще 79 бачей это очень дорого.
Вебальта помню предоставляла такие же услуги, дак там по моему было баксов 5-10 за домен.
инфляция :)
а если серьезно, действительно, цен на услуги нет. любые отчеты и данные по любому домену в свободном доступе.
Solomono добавил 13.08.2010 в 13:59
overnight: Разница в 3 раза. 2897 в сервисе и 9106 в вебмастере. Ссылкам не меньше месяца.
благодарю за отзыв. не могли бы вы уточнить кол-во ссылающихся доменов?
evgenii: Посмотрел данные одного сайта: 341 домен, 892 страниц.
По панели Я. вебмастер 1306 доменов, 2622 страницы.
Сервису еще далеко до реальных значений.
Пользуюсь Вашим сервисом вместе с RDS баром. Доволен) Подскажите, когда Solomono пишет "склеен", что имеется виду?
"склеен" пишет непосредственно сам RDS Bar, когда получает ответ от сервиса только для основного домена. поясню:
- вы находитесь на sss1.example.com
- RDS Bar отправляет запрос для получения данных о sss1.example.com, а в ответ выдаются данные для всего example.com (т.е. для его родительского домена) и пишется надпись "склеен". Другого случая для статуса "склеен" нет.
Я бы мог предложить:
Папрсинг внешних ссылок со всех сайтов. типа solomono.
Т.е. составляете граф всех внешних ссылок с сайтов с учетом "веса" страницы, рассчитываете вес каждой страницы(допустим от 1 до 1^10). Данные продаёте тем кто покупает ссылки и анализирует доноров/конкурентов.
Я бы купил.
Я извиняюсь, что не в тему:
1. вы можете предложить формат графа?
2. вес страницы уже рассчитан - Google PR. Зачем пересчитывать вес, если он будет равен ~PR?
шикарный проект
как идет развитие?
Белый Ум добавил 21.09.2010 в 23:40
буду рад если ответите - я тоже писал пауков, очень интересует вопрос - а как анализируются динамические страницы?
спасибо за отзыв! развитие идет своим чередом. сейчас основная работы это отладка паука и анализа страниц, поскольку были проблемы с качеством и поступили хорошие резонные замечания от пользователей и коллег.
одно из таких замечаний, видимо, как раз поступило от вас. хотя я пока не уловил, в чем может быть проблема.
все Url вида http://www.asd.ru/asd/?asd=111d&ddd=222 до 256 знаков - отдельные страницы. различий между статическими и динамическими страницами не делается.
Solomono добавил 22.09.2010 в 21:14
заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
(перед выдачей чего ж не проверить?)
добрый вечер. как правильно заметил sokol_jack перепроверка "на лету" в любом случае будет занимать время. вы задали очень хороший вопрос, поскольку такая проверка действительно нужна,
но технически проще (и разумнее) обеспечить хорошую актуальность базы данных для всех доменов, чтобы % несовпадений на данный момент был несущественным. над чем и работаем.
Solomono добавил 22.09.2010 в 21:22
А что с точки зрения паука - "динамическая страница"?
Есть необработанные линки - заходим, вытаскиваем все ссылки, сохраняем что и где, добавляем в необработанные, начинаем с самого начала.
Есть ссылка на страницу - зайдем. Нету - не зайдем...
Все просто и логично.
Граф ссылок для среднего по размеру сайта у меня получался где-то 1.5-2 мегабайта. Но это я наверное много хранил лишнего. Основная проблема - это скорость записи в БД при работающих 20 потоках паука... Тут только кеширование в памяти + периодический сброс на диск помогает.
ПыСы. На ASP.NET public часть, а БД - MS SQL? Там замечательные partitioned tables и indexes есть, если что ;)
мы с вами очень схожи в методах и оценке :)
Solomono добавил 22.09.2010 в 21:33
Также рад сообщить, что теперь данные с solomono.ru вы можете увидеть в RDS Bar — плагине для быстрого анализа показателей сайта.
Сейчас бар (помимо всего прочего) показывает кол-во ссылок in/out (по уровням вложенности), количество уникальных доменов in/out, анкоры первых 100 ссылок на / с сайта.
Ссылка на RDS Bar: http://www.recipdonor.com/bar
Надеюсь наша кооперация с этим замечательным сервисом в таком виде будет очень полезной для пользователей.
В Голландии все ок – работает и com и ru… Что-то в сетях…
Solomono, список ссылок действительно неполон.
Вы можете рассказать про техническую часть, сколько серверов используется, сколько потоков, алгоритм обхода сайтов и пр.?
Если не секрет, конечно.
Проект - коммерческий, поэтому, к сожалению, информацию о технической части я дать не могу. Я только могу отметить, что, как вы правильно заметили ранее, объем базы данных пока не вышел на рабочий уровень, но это вопрос времени.
Solomono, при каких условиях выдаётся страница http://solomono.ru/error.htm?aspxerrorpath=/default.aspx?
Не могу проверить несколько доменов.
в данном случае - ошибка в коде.
спасибо за сообщение. сейчас все должно работать.
Без проблем: 4993.
У Вас: 1 478.
Это дешёвые ссылки, если данный факт имеет значение.
еще раз спасибо.
Не нашел я цен на сайте, а вообще 79 бачей это очень дорого.
Вебальта помню предоставляла такие же услуги, дак там по моему было баксов 5-10 за домен.
инфляция :)
а если серьезно, действительно, цен на услуги нет. любые отчеты и данные по любому домену в свободном доступе.
Solomono добавил 13.08.2010 в 13:59
Разница в 3 раза. 2897 в сервисе и 9106 в вебмастере. Ссылкам не меньше месяца.
благодарю за отзыв. не могли бы вы уточнить кол-во ссылающихся доменов?
Ввожу сайт, пишет вам недоступна страница.!
скиньте, пожалуйста, сайт в личку.
Посмотрел данные одного сайта: 341 домен, 892 страниц.
По панели Я. вебмастер 1306 доменов, 2622 страницы.
Сервису еще далеко до реальных значений.
благодарю за отзыв