- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
мне нужен список с информацией о поисковиках(название, страница, useragent и пр.). вот что я пока нашел у фантомастера
# 100hot
# 2kCity
# Abacho/Eule/Spider (DE) |
# ABADOOR (DE) |
# Acoon
# Aeiwi
# ah-ha
# Aladin
# Alexa (US)
# Allesklar
# AllFreak.com
# AltaVista.com/.net
# AltaVista.DE
# AV Babelfish
# Amadillo
# Anagrarobot
# Ananzi
# AnswerBus (DE)
# AnswerSleuth
# Anzwers
# AOL Netfind
# Apidom (Guadeloupe)
# Internet Archiver
# Ask Jeeves
# Ask Jeeves (JP)
# Aspider
# atweb.com
# Auresys
# Axmo (US)
# Backrub
# batsch (IL)
# Baidu
# bCentral (US)
# Bellnet
# BizSearch
# BlackSpider
# BlackWidow
# Blitzsuche
# BlueWindow
# brainbot (DE)
# Business interactive
# CACTVS Chemistry Spider
# Carter.bnf.fr
# Cipinet (US)
# cyveillance.com
# Colorstamps
# Columbus-Finder
# Combine System
# Companiesonline
# Concentric
# ConceptBot
# Crawler
# Crawler V 0.2.2 admin@crawler.de
# CS HKUST WISE
# CurryGuide
# DailyOrbit (US)
# DavesEngine
# DeepIndex
# DeWeb
# dir.com (FR)
# Directhit
# Eclipze
# Elzer
# Empas (KR)
# Entireweb.com (SE)
# Esoterica
# Eule
# EuroFerret (MuscatFerret)
# EuroOne
# EuroSeek
# ExactSeek (US)
# Exalead (FR)
# Excite (ArchitextSpider)
# EZResult
# FAST (alltheweb.com)
# FunkyCat
# Felix IDE
# FetchRover
# FindLink.com
# findquick.com
# Fireball
# Fish search
# Flix
# Fouineur
# Robot Francoroute
# FreeFind
# FunnelWeb
# galaxy
# gasta
# Geona (US)
# Germany.net
# Gigablast (US)
# Google
# Goo
# GoZero Search
# Hämähäkki
# Harvest
# HI (HTML Index) Search
# Hitsearch
# HKU WWW Octopus
# HotBot
# HotWired
# HTDig
# Hubat (US)
# IBM_Planetwide
# ICQ
# Il Trovatore (IT)
# ILSE
# Imagelock
# IncyWincy
# Incor
# InfoBee (JP)
# Infomak
# InfoNavigator
# Informant
# Infoseek.com
# Infoseek.co.jp
# infoSpider (US)
# Inquirus
# IntelliAgent
# Inter-Fux
# Inter2001
# Internet Portal 3000
# Intersearch (.at/.de)
# Israeli-search
# ISpi Crawler
# JAYDE.COM
# JAYDE.DE
# jblue
# Job Robot (Jobot)
# Jubii
# JumpStation
# Kanoodle
# Kansmen
# Kolibri
# LIBWWW-PERL
# Look.com (CA)
# Lotse
# LWP-TRIVIAL
# Lycos
# Lygo
# Magpie
# mande (Ecuador)
# Mcmail
# Mercator
# MerzScope
# Metager
# Microsoft.com
# Mirago
# Mister-Jack
# MixCat (US)
# Motor
# MSN (US)
# Nathan
# NationalDirectory
# Naver (KR)
# NDV
# Nederland.zoek
# NetCarta WebMap Engine
# Netscape Catalog Robot
# NetScoop
# Netseek
# NetPlaza (NEC-MeshExplorer)
# NHSE Web Forager
# Hit-Net
# Nomad
# NorthernLight
# NorthStar Robot
# The NWI Robot
# NTT Cyberspace Laboratories
# Nzexplorer
# Oberland Net
# Occam
# onlinepilot.de
# Openfind
# Open Text
# Peregrinator
# Phantom
# Pioneer
# PGP Key Agent
# Planetsearch
# Portal Juice
# Position Technologies
# psi.net
# Qango
# Quepasa (US)
# RBSE Spider
# Resume Robot
# Rex
# Robbie the Robot
# Roverbot
# SafetyNet Robot
# SavvySearch
# Scrubtheweb
# Search Info (US)
# search.ch (CH)
# Search.nl (NL)
# SearchExpress
# SearchKing
# SearchMil.com
# Searchopolis
# Seekport (DE)
# Senrigan
# SEVENtwentyfour Inc. Services
# SG-Scout
# Simmany Robot Ver1.0
# SiteTech-Rover
# Slider
# Smart Spider
# Spanner
# speedfind
# Splat! Search
# Spry Wizard Robot
# Spider
# SuperSnooper
# Szukacz (PL)
# Ussenioropen
# Suchmaschine.de
# SuperSnooper
# Teoma
# Thunderstone
# Tiscali Search (IT)
# TitIn
# t-online (Infoseek)
# TITAN
# UCSD Crawl
# Valkyrie
# Vcommunities.com
# Verno
# Virtualpromote
# Vision-Search
# Voila
# VWbot
# vancouver-webpages.com
# W8 Search
# Web Wombat
# Wisewire
# W3M2
# Web21
# WebBandit Web Spider
# Web Core
# WebCrawler
# Web.de
# whatUseek
# WhoWhere Robot
# Wild Ferret Web Hopper
# Wise Wire Widow
# WiseGuys (NL)
# WISEnut
# Wissenschaft-Channel
# Witch
# Wolong
# The World Wide Web Worm
# WWW-Collector
# Yahoo/Inktomi
# Yeehaa
# Zippp (US)
# zSearch.net (US)
Тут может что-то пригодится: http://www.gcmsite.ru/?pg=art&id=search-spiders
И вот это может пригодиться:
http://www.robotstxt.org/