- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Solomono, при каких условиях выдаётся страница http://solomono.ru/error.htm?aspxerrorpath=/default.aspx?
Не могу проверить несколько доменов.
в данном случае - ошибка в коде.
спасибо за сообщение. сейчас все должно работать.
Solomono, список ссылок действительно неполон.
Вы можете рассказать про техническую часть, сколько серверов используется, сколько потоков, алгоритм обхода сайтов и пр.?
Если не секрет, конечно.
Solomono, список ссылок действительно неполон.
Вы можете рассказать про техническую часть, сколько серверов используется, сколько потоков, алгоритм обхода сайтов и пр.?
Если не секрет, конечно.
Проект - коммерческий, поэтому, к сожалению, информацию о технической части я дать не могу. Я только могу отметить, что, как вы правильно заметили ранее, объем базы данных пока не вышел на рабочий уровень, но это вопрос времени.
шикарный проект
как идет развитие?
Белый Ум добавил 21.09.2010 в 23:40
буду рад если ответите - я тоже писал пауков, очень интересует вопрос - а как анализируются динамические страницы?
очень интересует вопрос - а как анализируются динамические страницы?
А что с точки зрения паука - "динамическая страница"?
Есть необработанные линки - заходим, вытаскиваем все ссылки, сохраняем что и где, добавляем в необработанные, начинаем с самого начала.
Есть ссылка на страницу - зайдем. Нету - не зайдем...
Все просто и логично.
Граф ссылок для среднего по размеру сайта у меня получался где-то 1.5-2 мегабайта. Но это я наверное много хранил лишнего. Основная проблема - это скорость записи в БД при работающих 20 потоках паука... Тут только кеширование в памяти + периодический сброс на диск помогает.
ПыСы. На ASP.NET public часть, а БД - MS SQL? Там замечательные partitioned tables и indexes есть, если что ;)
заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
(перед выдачей чего ж не проверить?)
заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
Значит, туда паук заходит редко...
Э... Проверять весь список обраток на наличие обраток прямо перед выдачей результата?!
10к обраток - значит 10к страничек достать (с чужих медленных серверов!), вытащить нашу ссылку - и все это за 1-2 секунды :p
шикарный проект
как идет развитие?
Белый Ум добавил 21.09.2010 в 23:40
буду рад если ответите - я тоже писал пауков, очень интересует вопрос - а как анализируются динамические страницы?
спасибо за отзыв! развитие идет своим чередом. сейчас основная работы это отладка паука и анализа страниц, поскольку были проблемы с качеством и поступили хорошие резонные замечания от пользователей и коллег.
одно из таких замечаний, видимо, как раз поступило от вас. хотя я пока не уловил, в чем может быть проблема.
все Url вида http://www.asd.ru/asd/?asd=111d&ddd=222 до 256 знаков - отдельные страницы. различий между статическими и динамическими страницами не делается.
Solomono добавил 22.09.2010 в 21:14
заметил присутствие в списке страниц, на которых уже давно (минимум 2-3 месяца) нет ссылок.
(перед выдачей чего ж не проверить?)
добрый вечер. как правильно заметил sokol_jack перепроверка "на лету" в любом случае будет занимать время. вы задали очень хороший вопрос, поскольку такая проверка действительно нужна,
но технически проще (и разумнее) обеспечить хорошую актуальность базы данных для всех доменов, чтобы % несовпадений на данный момент был несущественным. над чем и работаем.
Solomono добавил 22.09.2010 в 21:22
А что с точки зрения паука - "динамическая страница"?
Есть необработанные линки - заходим, вытаскиваем все ссылки, сохраняем что и где, добавляем в необработанные, начинаем с самого начала.
Есть ссылка на страницу - зайдем. Нету - не зайдем...
Все просто и логично.
Граф ссылок для среднего по размеру сайта у меня получался где-то 1.5-2 мегабайта. Но это я наверное много хранил лишнего. Основная проблема - это скорость записи в БД при работающих 20 потоках паука... Тут только кеширование в памяти + периодический сброс на диск помогает.
ПыСы. На ASP.NET public часть, а БД - MS SQL? Там замечательные partitioned tables и indexes есть, если что ;)
мы с вами очень схожи в методах и оценке :)
Solomono добавил 22.09.2010 в 21:33
Также рад сообщить, что теперь данные с solomono.ru вы можете увидеть в RDS Bar — плагине для быстрого анализа показателей сайта.
Сейчас бар (помимо всего прочего) показывает кол-во ссылок in/out (по уровням вложенности), количество уникальных доменов in/out, анкоры первых 100 ссылок на / с сайта.
Ссылка на RDS Bar: http://www.recipdonor.com/bar
Надеюсь наша кооперация с этим замечательным сервисом в таком виде будет очень полезной для пользователей.
мне понравилось
желаю дальнейшего развития ;)
Пользуюсь Вашим сервисом вместе с RDS баром. Доволен) Подскажите, когда Solomono пишет "склеен", что имеется виду?