- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Что делать, если ваша email-рассылка попала в спам
10 распространенных причин и решений
Екатерина Ткаченко
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Какая то у них активность сегодня высокая... Почему терроризируют... Залезают не туда куда нужно... И хотя там стоит <meta name="Robots" content="NOINDEX" /> Всё равно посещают эти страницы, трача своё рабочее время. Через robots.txt не могу эти страницы выкинуть. Упадёшь выкидывать сайт динамический. А так, если ненужная поисковику страница идёт вызов указанного выше тэга, вроде он не чувствителен к реестру. Щас идея пришла в голову... Почему robots.txt не сделать динамически меняющимся... Т.е. что бы скрипт сам дописывал в файл(robots.txt) запись после создания страницы и удалял оттуда после удаления страницы.
Чтоб увидеть мета тег, боту нужно посетить страницу.
А роботы какие? Может Yahoo?
Боты всякие щас дам статистику их трудов:
179 69,9% Yahoo
26 10,2% Googlebot (Google)
26 10,2% Unknown robot (identified by robot)
15 5,9% msnbot
7 2,7% InternetSeer
2 0,8% Yandex bot
1 0,4% Unknown robot (identified by spider)
SEO-TitaN добавил 14.03.2008 в 18:00
Это за пол месяца (Март)
Боты всякие щас дам статистику их трудов:
179 69,9% Yahoo
26 10,2% Googlebot (Google)
26 10,2% Unknown robot (identified by robot)
15 5,9% msnbot
7 2,7% InternetSeer
2 0,8% Yandex bot
1 0,4% Unknown robot (identified by spider)
SEO-TitaN добавил 14.03.2008 в 18:00
Это за пол месяца (Март)
Это немного у меня тот же гуглебот бывает по 800 страниц за день съедает и ничего. Даже рад тому что они быстрее в выдаче обновятся
для Yahoo есть специальная команда robots.txt которая указывает роботу периодичность индексации
С яху трафика как правило немного, так что без большого ущерба урезать его активность. Крайний вариант снижения активности поисковых ботов - бан по User-agent через .htaccess.
Думаю, для англоязычных сайтов траф есть, тем более что результатами трудов яхи пользуются, если я не ошибаюсь, еще несколько крупных англоязычных поисковиков:).
Спасибо, дай-ка сюда инфу как с этим оперировать...
SEO-TitaN добавил 14.03.2008 в 18:36
Я не знаю что Америкосы делают на региональном сайте по Работе, но их обычно в месяц 10%. За сегодня:
ru 87 63% Russian Federation
us us 17 12.3% United States
se se 14 10.1% Sweden
Unknown 5 3.6% Unknown
ua ua 4 2.9% Ukraine
de de 3 2.2% Germany
es es 1 0.7% Spain
kz kz 1 0.7% Kazakhstan
ma ma 1 0.7% Morocco
md md 1 0.7% Moldova, Republic of
kr kr 1 0.7% Korea, Republic of
ro ro 1 0.7% Romania
su su 1 0.7% Former Soviet Union
cn cn 1 0.7% China
Лучше бы посмотрели статистику сколько приходит с яху. Не только ведь с него америкосы идут.
Добавьте в робост:
Второй параметр - сколько должно пройти секунд до поглощения следующей страницы.C msn больше чем с Yahoo однозначно... Хотя сам считаю что Yahoo намного качественнее MSN и в чём то даже Google...
Тут дело не в приходе, дело в качестве трафика... Мы знаем такое понятие как глубина посещения пользователем... Дак вот с MSN траф самый гавённый...