- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Переиграть и победить: как анализировать конкурентов для продвижения сайта
С помощью Ahrefs
Александр Шестаков
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Мда... уважения такие посты не добавляют.
Я слежу за вашими сообщениями с самого, так сказать, начала вашей деятельности, и в последнее время все больше убеждаюсь, что кроме наглости и хамства у вебальты пока ничего нет.
Помоему он прав. Если бот мешает - проще сказать, чтобы его закрыли,.
Если у человека более 100тысяч уникальных урлов на домене и при попытке закачать 3тысячи в сутки сервер падает - в топку такой сервер.
Даже за 1 месяц не проверить работоспособность каждого урла.
Я слежу за вашими сообщениями с самого, так сказать, начала вашей деятельности, и в последнее время все больше убеждаюсь, что кроме наглости и хамства у вебальты пока ничего нет.
прав .прав.. вебальту в топпку!😡
Я конечно понимаю чтобы составить конкуренцию большим поисковикам нужно иметь, что то особенное типа самой большой базы и т.д., но не такими же средствами. Можно ли настроить чтобы бот ходил не так жестко, а по мягче.
А еще не считайте что страниц 60к, их намного больше получится, превью статей, постраничный вывод тем самым страниц получается как минимум в два раза больше.
Этот сайт я привел как пример, на самом деле ситуация такая на многих сайтах.
Знаете, глупо сравнивать в прицнипе, как по идеологии, так и по принципу работы. Вебальта первоначально планировалась так, чтобы период обновления основной базы был 14 дней, со временем увеличен возможно будет до 30 дней. За это время мы хотим успеть проверить работоспособность ссылок, изменения на сайтах и так далее.
Апорт кушает в сутки 60гиг htmlов (из интервью с Апортом), Вебальта кушает 1900гиг сейчас. Разница в 30 раз. Если Вы не хотите чтобы Все ваши страницы были в индексе - пожалуйста закройте или скажите нам, мы не будем пытаться их скачать, или закройте просто через robots.txt мы будем индексировать ваш сайт как апорт - только морды + немного внутрь.
PS. В принципе порядочный вебмастер должен радоваться тому, что все страницы его сайта проиндексированы и доступны для поиска. Говорить об отношении проиндексированно/кол-во трафика пока в принципе раньше осени бессмысленно.
просто наверное не надо стремиться высосать их за день или два, а то активность робота вебальты вызывает недоумение. Должно быть ограничение на количество документов в минуту, пауза между последовательными скачиваниями с одного сайта (хотя бы пару секунд), только и всего.
С другой стороны лимит на 3к запросов в сутки - это действительно глупо.
100тысяч страниц у него на сайте, объясните мне, сколько высасывать в день, чтобы за 2 недели их проиндексировать?
Мда... уважения такие посты не добавляют.
Я слежу за вашими сообщениями с самого, так сказать, начала вашей деятельности, и в последнее время все больше убеждаюсь, что кроме наглости и хамства у вебальты пока ничего нет.
Причем тут наглость или хамство? Тут скорее мы ему нужны чем он нам, даже при том, что трафика с Вебальты пока кот наплакал.
Или Вам кажется что нам страничек не хватит?
Или может быть вам кажется что стучаться в закрытую дверь лучше, чем просто не тратить машинное время ни его ни наше на то, чтобы каждый раз пытаться его индексировать?
100тысяч страниц у него на сайте, объясните мне, сколько высасывать в день, чтобы за 2 недели их проиндексировать?
по 7 тысяч в сутки, это примерно 1 запрос в 12 секунд. Но полностью проиндексировать такой сайт за 2 недели - это просто подарок, вероятно, это - лишнее.
по 7 тысяч в сутки, это примерно 1 запрос в 12 секунд. Но полностью проиндексировать такой сайт за 2 недели - это просто подарок, вероятно, это - лишнее.
И какие выводы? Про 3тысячи в сутки или 1 запрос в 30 секунд?
Почему "или"? "И". Ведь если запустить 3 тысячи запросов в минуту, а потом отдыхать сутки, сайт ляжет. Вам там наверное проще посчитать первую цифру?
Почему "или"? "И". Ведь если запустить 3 тысячи запросов в минуту, а потом отдыхать сутки, сайт ляжет. Вам там наверное проще посчитать первую цифру?
См выше, 2 запроса в минуту мы ему делаем.
PS. Вообще надоело, как горох об стенку, баньте бота и все.
User-agent: Webalta
Disallow: /
Люди, не сходите с ума
Crawl-delay: 5
Значение установите самостоятельно, но это, я думаю, будет ОК