Боты терроризируют

12
ST
На сайте с 06.05.2007
Offline
19
1044

Какая то у них активность сегодня высокая... Почему терроризируют... Залезают не туда куда нужно... И хотя там стоит <meta name="Robots" content="NOINDEX" /> Всё равно посещают эти страницы, трача своё рабочее время. Через robots.txt не могу эти страницы выкинуть. Упадёшь выкидывать сайт динамический. А так, если ненужная поисковику страница идёт вызов указанного выше тэга, вроде он не чувствителен к реестру. Щас идея пришла в голову... Почему robots.txt не сделать динамически меняющимся... Т.е. что бы скрипт сам дописывал в файл(robots.txt) запись после создания страницы и удалял оттуда после удаления страницы.

ВАКАНСИИ по Великому Новгороду для молодёжи (http://www.studbirga.info/component/option,com_marketplace/Itemid,74/)
F
На сайте с 24.08.2006
Offline
35
#1

Чтоб увидеть мета тег, боту нужно посетить страницу.

Web-Silver
На сайте с 02.05.2007
Offline
247
#2

А роботы какие? Может Yahoo?

ST
На сайте с 06.05.2007
Offline
19
#3

Боты всякие щас дам статистику их трудов:

179 69,9% Yahoo

26 10,2% Googlebot (Google)

26 10,2% Unknown robot (identified by robot)

15 5,9% msnbot

7 2,7% InternetSeer

2 0,8% Yandex bot

1 0,4% Unknown robot (identified by spider)

SEO-TitaN добавил 14.03.2008 в 18:00

Это за пол месяца (Март)

I
На сайте с 04.11.2007
Offline
20
#4
SEO-TitaN:
Боты всякие щас дам статистику их трудов:
179 69,9% Yahoo
26 10,2% Googlebot (Google)
26 10,2% Unknown robot (identified by robot)
15 5,9% msnbot
7 2,7% InternetSeer
2 0,8% Yandex bot
1 0,4% Unknown robot (identified by spider)

SEO-TitaN добавил 14.03.2008 в 18:00
Это за пол месяца (Март)

Это немного у меня тот же гуглебот бывает по 800 страниц за день съедает и ничего. Даже рад тому что они быстрее в выдаче обновятся

для Yahoo есть специальная команда robots.txt которая указывает роботу периодичность индексации

Я покупаю хостинг и VDSки здесь (http://sweb.ru/p14170)
D
На сайте с 10.08.2007
Offline
52
#5

С яху трафика как правило немного, так что без большого ущерба урезать его активность. Крайний вариант снижения активности поисковых ботов - бан по User-agent через .htaccess.

Vanich
На сайте с 10.07.2007
Offline
165
#6

Думаю, для англоязычных сайтов траф есть, тем более что результатами трудов яхи пользуются, если я не ошибаюсь, еще несколько крупных англоязычных поисковиков:).

Онлайн-консультант для юридических, медицинских, компьютерных, туристических сайтов. Удобно пользователю, прибыльно вебмастеру. (http://webmasters.leadia.ru/?ref=bIoqZIaath) MONKEYWRITE ТЕПЕРЬ БЕСПЛАТНО (https://yadi.sk/d/Hd9mbvyzeMMfp)
ST
На сайте с 06.05.2007
Offline
19
#7
для Yahoo есть специальная команда robots.txt которая указывает роботу периодичность индексации

Спасибо, дай-ка сюда инфу как с этим оперировать...

SEO-TitaN добавил 14.03.2008 в 18:36

Я не знаю что Америкосы делают на региональном сайте по Работе, но их обычно в месяц 10%. За сегодня:

ru 87 63% Russian Federation

us us 17 12.3% United States

se se 14 10.1% Sweden

Unknown 5 3.6% Unknown

ua ua 4 2.9% Ukraine

de de 3 2.2% Germany

es es 1 0.7% Spain

kz kz 1 0.7% Kazakhstan

ma ma 1 0.7% Morocco

md md 1 0.7% Moldova, Republic of

kr kr 1 0.7% Korea, Republic of

ro ro 1 0.7% Romania

su su 1 0.7% Former Soviet Union

cn cn 1 0.7% China

D
На сайте с 10.08.2007
Offline
52
#8

Лучше бы посмотрели статистику сколько приходит с яху. Не только ведь с него америкосы идут.

LX
На сайте с 11.06.2007
Offline
28
#9

Добавьте в робост:

User-Agent: Slurp

Crawl-Delay: 60
Второй параметр - сколько должно пройти секунд до поглощения следующей страницы.
Ѣ-программисты пишут на Petrovich (http://2lx.ru/2009/05/yazyk-programmirovaniya-petrovich/) и Ook! (http://2lx.ru/2009/06/yazyk-programmirovaniya-ook/) Нечего кушать? Подои Зорьку (http://zorkabiz.ru/?zorka=1071)! Мууу...
ST
На сайте с 06.05.2007
Offline
19
#10
Лучше бы посмотрели статистику сколько приходит с яху. Не только ведь с него америкосы идут.

C msn больше чем с Yahoo однозначно... Хотя сам считаю что Yahoo намного качественнее MSN и в чём то даже Google...

Тут дело не в приходе, дело в качестве трафика... Мы знаем такое понятие как глубина посещения пользователем... Дак вот с MSN траф самый гавённый...

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий