Solomono

Solomono
Рейтинг
51
Регистрация
22.02.2010
justtheman:
Пользуюсь Вашим сервисом вместе с RDS баром. Доволен) Подскажите, когда Solomono пишет "склеен", что имеется виду?

"склеен" пишет непосредственно сам RDS Bar, когда получает ответ от сервиса только для основного домена. поясню:

- вы находитесь на sss1.example.com

- RDS Bar отправляет запрос для получения данных о sss1.example.com, а в ответ выдаются данные для всего example.com (т.е. для его родительского домена) и пишется надпись "склеен". Другого случая для статуса "склеен" нет.

Белый Ум:
Я бы мог предложить:
Папрсинг внешних ссылок со всех сайтов. типа solomono.
Т.е. составляете граф всех внешних ссылок с сайтов с учетом "веса" страницы, рассчитываете вес каждой страницы(допустим от 1 до 1^10). Данные продаёте тем кто покупает ссылки и анализирует доноров/конкурентов.

Я бы купил.

Я извиняюсь, что не в тему:

1. вы можете предложить формат графа?

2. вес страницы уже рассчитан - Google PR. Зачем пересчитывать вес, если он будет равен ~PR?

Белый Ум:
шикарный проект
как идет развитие?

Белый Ум добавил 21.09.2010 в 23:40
буду рад если ответите - я тоже писал пауков, очень интересует вопрос - а как анализируются динамические страницы?

спасибо за отзыв! развитие идет своим чередом. сейчас основная работы это отладка паука и анализа страниц, поскольку были проблемы с качеством и поступили хорошие резонные замечания от пользователей и коллег.

одно из таких замечаний, видимо, как раз поступило от вас. хотя я пока не уловил, в чем может быть проблема.

все Url вида http://www.asd.ru/asd/?asd=111d&ddd=222 до 256 знаков - отдельные страницы. различий между статическими и динамическими страницами не делается.

Solomono добавил 22.09.2010 в 21:14

Alex Klo:
заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
(перед выдачей чего ж не проверить?)

добрый вечер. как правильно заметил sokol_jack перепроверка "на лету" в любом случае будет занимать время. вы задали очень хороший вопрос, поскольку такая проверка действительно нужна,

но технически проще (и разумнее) обеспечить хорошую актуальность базы данных для всех доменов, чтобы % несовпадений на данный момент был несущественным. над чем и работаем.

Solomono добавил 22.09.2010 в 21:22

sokol_jack:
А что с точки зрения паука - "динамическая страница"?
Есть необработанные линки - заходим, вытаскиваем все ссылки, сохраняем что и где, добавляем в необработанные, начинаем с самого начала.

Есть ссылка на страницу - зайдем. Нету - не зайдем...
Все просто и логично.

Граф ссылок для среднего по размеру сайта у меня получался где-то 1.5-2 мегабайта. Но это я наверное много хранил лишнего. Основная проблема - это скорость записи в БД при работающих 20 потоках паука... Тут только кеширование в памяти + периодический сброс на диск помогает.

ПыСы. На ASP.NET public часть, а БД - MS SQL? Там замечательные partitioned tables и indexes есть, если что ;)

мы с вами очень схожи в методах и оценке :)

Solomono добавил 22.09.2010 в 21:33

Также рад сообщить, что теперь данные с solomono.ru вы можете увидеть в RDS Bar — плагине для быстрого анализа показателей сайта.

Сейчас бар (помимо всего прочего) показывает кол-во ссылок in/out (по уровням вложенности), количество уникальных доменов in/out, анкоры первых 100 ссылок на / с сайта.

Ссылка на RDS Bar: http://www.recipdonor.com/bar

Надеюсь наша кооперация с этим замечательным сервисом в таком виде будет очень полезной для пользователей.

В Голландии все ок – работает и com и ru… Что-то в сетях…

юни:
Solomono, список ссылок действительно неполон.

Вы можете рассказать про техническую часть, сколько серверов используется, сколько потоков, алгоритм обхода сайтов и пр.?

Если не секрет, конечно.

Проект - коммерческий, поэтому, к сожалению, информацию о технической части я дать не могу. Я только могу отметить, что, как вы правильно заметили ранее, объем базы данных пока не вышел на рабочий уровень, но это вопрос времени.

юни:
Solomono, при каких условиях выдаётся страница http://solomono.ru/error.htm?aspxerrorpath=/default.aspx?

Не могу проверить несколько доменов.

в данном случае - ошибка в коде.

спасибо за сообщение. сейчас все должно работать.

overnight:
Без проблем: 4993.
У Вас: 1 478.

Это дешёвые ссылки, если данный факт имеет значение.

еще раз спасибо.

Instructor:
Не нашел я цен на сайте, а вообще 79 бачей это очень дорого.
Вебальта помню предоставляла такие же услуги, дак там по моему было баксов 5-10 за домен.

инфляция :)

а если серьезно, действительно, цен на услуги нет. любые отчеты и данные по любому домену в свободном доступе.

Solomono добавил 13.08.2010 в 13:59

overnight:
Разница в 3 раза. 2897 в сервисе и 9106 в вебмастере. Ссылкам не меньше месяца.

благодарю за отзыв. не могли бы вы уточнить кол-во ссылающихся доменов?

spef:
Ввожу сайт, пишет вам недоступна страница.!

скиньте, пожалуйста, сайт в личку.

evgenii:
Посмотрел данные одного сайта: 341 домен, 892 страниц.
По панели Я. вебмастер 1306 доменов, 2622 страницы.
Сервису еще далеко до реальных значений.

благодарю за отзыв

Всего: 274