- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Алексей, кстати киньте урл для захода в вебальтовский директ) я б ещё объявлений пописал бы ;)
Грыбочек, а Вы не думали что большим сайтам вообще чхать на бота? Его несколько тысяч даже если десятков тысяч хитов никто не замечает.
Я бы не назвал wikipedia.org мелким сайтом, но все боты, не понимающие crawl-delay, им банятся, не взирая на ранги. Эт у них в полиси прописано. Как я понимаю, Вебальта эту команду не разумеет.
http://www.webalta.ru/search?q=site%3Aen.wikipedia.org
вопросы?
выдача уже вручную модерируется?
выдача уже вручную модерируется?
что значит вручную? дорвеи баним, но пока не так активно как хотелось бы. Щас дописывается система управления - там в один клик будет.
просто слегка удивил такой результат
http://www.webalta.ru/search?q=site%3Aen.wikipedia.org
вопросы?
Ха-ха, рассмешили :) Логика вас тут подвела. Эта выдача доказывает, что вы википедию идексировали, и судя по всему до 7 июля, - насколько осилил листание, сначала шли страницы с датой изменения 7 июля, потом 6 июля, потом пошло 5-е... Никаких подтверждений, что вас не забанили, или не забанят, пока не начнёте соблюдать crawl-delay это не даёт ):D
Вы админам сайта отпишите, так мол и так, мы crawl-delay не поддерживаем, но вас идексить будем, несмотря на ваше полиси - любой нормальный сайт должен это выдеражать. Вот на ответ я бы хотел посмотреть :)
Я терпеливый, но сил больше нет... 14тысяч страниц за 7 дней скачено, по 2тысячи хитов в сутки, так как я и говорил раньше про максимум в сутки.
Потыкай на 500-600тый результат... там будет и даты прошлого месяца, что тебе не понятно-то? Морду вытянули 5ого июля, википедия внесена в список начального обхода, так же как и 311тысяч сайтов других, втечении двух дней обошли все ссылки с морды и остановились с более свежими изменениями.
Быстрого индекса пока нет, поэтому все верно. Знаешь складывается ощущение что ты вообще не понимаешь о чем говоришь, из серии лишь бы сп$днуть ;)
Могу кинуть логи если хочешь, у википедии все ответы нашему боту 200тые с контентом.
PS. Предлагаю модераторам закрыть ветку, потому как топик становится уже не читаемый.
Кстати, щас глянул, на википедии 1,2млн статей, гугл показывает 211млн страниц с нее (что само по себе фигня полная), как ты себе представляешь индексациюю 211млн страниц за месяц к примеру не напрягая сервер? или за 3 месяца?
Доройгой Алексей, вы сейчас похожи на юнца, матерящегося в публичном месте для ощущений собственной крутости и утвержавшего, вот я тут с малолетки денжат стряс - видите, меня не поймали, значит за грабёж не сажают :)
Прочтите лучше этот документ, он ответит на все ваши вопросы:
http://en.wikipedia.org/wiki/Wikipedia:Bots
И в http://en.wikipedia.org/robots.txt есть комментарий:
Please note: There are a lot of pages on this site, and there are
some misbehaved spiders out there that go _way_ too fast. If you're
irresponsible, your access to the site may be blocked.