- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Добрый день!
Размышляю, не залочить ли поисковики второго сорта: WebAlta.ru, gogo.ru, globex.info и проче. Теоретически, напашивается решение закрыть с них доступ: их роботы сервак грузят, толку ноль.
Сейчас сложилась ситуация, когда контентные сайты де-факто споснируют поисковики. Если бы не было контента, то искать было бы нечего. Но контент -- штука в производстве дорогая. И когда речь идет о "Яндексе" или Google, мы, скрепя сердце, на это можем пойти, они достойно отплачивают и это уже скорее симбиоз. Молодняк же норовит жить как паразиты... 8)
От радикальных решений пока воздержались, ограничившись выдачей предупреждения юзерам при переходе на контент со ссылок того же gogo.ru, со словами "мол, сайт не соблюдает условия использования контента" и все такое. Но мысль гложет, может вообще грохнуть? 8)
robots.txt это правила хорошего тона а не руководство к действию для роботов. Если какая либо информация открыта для просмотра неограниченному кругу лиц, то кто угодно может ее цитировать, а если кто угодно может то и поисковики могут.
Пелкие поисковики надо банить по IP
Меняйте хостера.
Пелкие поисковики надо банить по IP
скорей по user_agent ;)
я забанил: yahoo, aport, gogo, msn, webalta
robots.txt это правила хорошего тона а не руководство к действию для роботов. Если какая либо информация открыта для просмотра неограниченному кругу лиц, то кто угодно может ее цитировать, а если кто угодно может то и поисковики могут.
Это отдельный философский вопрос 8)
Трабла в том, что роботс.тхт, увы, не догма, а лишь рекомендация и есть масса дряни, которая на него не реагирует.
скорей по user_agent ;)
я забанил: yahoo, aport, gogo, msn, webalta
По IP мелких сосателей тяжело мочить, а с появлением Tor -- тем более, это уже даже не прокси, которые хоть как-то отследить можно.
Хостера менять тоже смысла нет (и так дедик), да и не решение это, появится еще пяток роботов -- опять менять?
Добрый день!
Размышляю, не залочить ли поисковики второго сорта: WebAlta.ru, gogo.ru, globex.info и проче. Теоретически, напашивается решение закрыть с них доступ: их роботы сервак грузят, толку ноль.
Добрый :)
К примеру у меня на двух проектах с ВебАльты и с ГоГо идет уже небольшой траф, с ВебАльты порядка 70 хостов\сутки, с ГоГо чуть по меньше...
По поводу сервера, Вам уже сказали, что если роботы грузят сервер, надо менять хостинг, если Вы переживаете именно за траф с хостинга, тогда надо выбирать другие тарифы :) Я к примеру никогда не заморачивался по поводу роботов ПС, индексят и хорошо... как видите, я писал уже выше, что трафик и с новых ПС получать можно.
Сейчас сложилась ситуация, когда контентные сайты де-факто споснируют поисковики. Если бы не было контента, то искать было бы нечего. Но контент -- штука в производстве дорогая. И когда речь идет о "Яндексе" или Google, мы, скрепя сердце, на это можем пойти, они достойно отплачивают и это уже скорее симбиоз. Молодняк же норовит жить как паразиты... 8)
Из Ваших слов звучит так, как будто ПС Вам еще должны заплатить за индексацию Вашего ресурса :)
Мое мнение звучит чуть-чуть по другому: "Если не было ПС, то Ваш контент бы никто и не нашел"
Но мысль гложет, может вообще грохнуть? 8)
Если эта мысль беспокоит, не дает высыпаться и нервирует в рабочее время... Грохните... Грохните, и нам тоже будет по проще :)
Если банить - то файрволом, и по ip. Самое надежное. Но на мой взгляд, это имеет смысл только в единственном случае - когда трафик не безлимитный. Во всех остальных случаях пусть едят, отдача рано или поздно будет. У меня, например, полгода назад Вебальта только хавала, а сейчас уже дает.
Мания преследования?
у меня траф под пол терабайта в месяц, и где там всякие вебальты искать?
и чем они меня там перегрузят?
хостера нормального иметь нада (правда кто-то выше это сказал)
Добавленно позже: правильно сказал LEOnidUKG
Вебальта сейчас сервера не нагружает вообще, алгоритм такой - не более 1 запроса в 20-30 секунд к 1ому домену. Если разбаните нас - будет приятно, тк хочется иметь индекс лучше конкурентов.