- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Маркетинг для шоколадной фабрики. На 34% выше средний чек
Через устранение узких мест
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Вот тут есть списки IP ботов поисковых систем: http://iplists.com/
Эх, а я вот наоборот не могу привлечь yahoo )))
А почему бы просто не запретить доступ ботам yahoo и msn?
User-agent: msnbot
Disallow: /
User-agent: Slurp
Disallow: /
Можете также добавить
User-agent: Yahoo! DE Slurp
User-agent: YahooSeeker
User-agent: Yahoo-MMCrawler
User-agent: msnbot-media
Тут есть адекватные люди, которые могут дать нормальный ответ на вопрос без флуда и понтов?
Mantius добавил 06.03.2009 в 13:44
Еще раз повторяю: если кто-то здесь флудить для самоутверждения, посылая окружающих на йух, то просто проходите мимо.
Для всех остальных уточняю вопрос:
Каковы диапазоны IP-адресов Яху и МСН?
Mantius добавил 06.03.2009 в 15:20
огласите, плз, какую подсеть вы забанили?
Зачем такие сложности? http://siteexplorer.search.yahoo.com/ Вам в помощь
кладет сервера порой, набрасываясь на сайты своими мощностями бездумно.
Для этого директива Crawl-Delay придумана и поддерживается.
Как закрыться от MSN, кстати?
User-agent: msnbot
Disallow: /
Вот так закрываем и нет никаких проблем! Лишние боты не шныряют :)
Disallow: /
User-agent: scooter
Disallow: /
User-agent: Slurp
Disallow: /
User-agent: msnbot-media
Disallow: /
User-agent: msnbot-news
Disallow: /
User-agent: msnbot-products
Disallow: /
User-agent: msnbot
Disallow: /
Если позакрывать ботов и они не будут шнырять по сайту, то как тогда новые страници будут появляться в поиске??? Ничего не понимаю, как?
Vetal2009, Я сказал:
Лишние боты не шныряют
Ключевое слово - лишние.
Боты Яху только черезмерно напрягают сервер своими постоянными запросами.
Боты Вэбархива тоже не всегда нужны.
Боты МСН - тоже ни к чему.
Остальные пущай ходят, не мешаем :)
Боты МСН - тоже ни к чему.
Боты gogo.ru куда полезнее, правда? :)
Цахес, Закройтесь и от них - кому как нравится.
Когда сайт состоит из более чем 200К страниц - боты Яхи периодически заваливают VDS - так что не вижу смысла его похождений. А вот ботам Яши и Гоши надо приманки раскладывать в виде ссылочной массы, чтобы чаще заходили :)