- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Нечего конечно всякую фигню на "Вы" называть (©анекдот),
поэтому я и не называю. Просто шифруюсь :)
Эти деятели открыли для построения "лучшего поиска"
некий распределённый проект.
Цитата с сайта (http://grub.org):
Grub uses the power of distributed computing to build the best search on the Web. It automatically crawls the Web in the background, borrowing your computer's spare clock cycles, so you won't even notice it's there. The download is quick, you control how much you crawl, and the cool screensaver shows you the real-time progress your computer is making. You can even compare your stats to other Grubsters in the project!
Всё бы хорошо, но участников блин много, а эта дрянь robots.txt не блюдёт.
Насосались ссылок полугодовой давности и бьются головой об 404.
Причём и 403 их не останавливает никак. Логи запачкали основательно.
Я зол безумно :(.
Тю... Зайди через Zzzzeal и поправь (если конечно не в commercial)... Или попроси тамошних редакторов...
Cossack, не понял взаимосвязи.
Он де-факто устроен тупо - там нет функции "deep crawl", только "update" - потому, оно ходит и трусит все подряд. Может одно и тоже по 10 раз, пока база не обновится (там ничего не было сказано о постоянном обновлении и вполне может быть, что все "grub-ы" прийдут на один сайт сразу). Может мне не все понятно, но это нечто подобное freshbot-у.
Взаимосвязь в базе. На свежеобновленных (в Zeal) сайтах - оно не было замечено ;).
ДЫк у меня и в мыслях не было никогда в Zeal русскоязычный сайт подавать. Эммигранты мне не нужны :)
В том и проблема ;), grub - не есть "crawler" - это просто проверка и поиск реальных адресов - расчистка завалов ;) - за счет юзеров.
Вот я и говорю - выхухоль.
Директории пол-года как не существует, она закрыта через robots.txt и всем кто в неё ломится возвращают 403. Т.е. на мой взляд полной фигнёй страдают. За счёт пользователей :D.
У живущих "там" нет желания отсудить у туповыглядящих какую-нить сумму денег? :)
В том то и дело, что уже никак:
Первое - У нормальных сайтов все в Zeal чики-чики ;). Минимум 200 правильных ссылок ;);
и второе - народ сам ведется на их предложение, на сайты они заходют со своих адресов и на LookSmart не наехать никак ;). Дураков хватает. Прямая аналогия с переводом Google - добровольцы бесплатно поработали на корпорацию.
З.Ы. С Открытым каталогом не путайте, там все полностью и бесплатно доступно.