Ladycharm

Рейтинг
351
Регистрация
07.12.2007
TheEgoist:
Хм, а как узнать IP ботов яндекса, простите за глупый вопрос конечно..

Вопрос абсолютно нормальный, пока гигабайты логов не перелопатишь. На то он и форум, не может каждый знать и замечать абсолютно всё.

Роботов нужно определять не по IP, а по UserAgent:

Yandex/1.01.001 (compatible; Win16; I) - робот-индексатор
Yandex/..... (compatible; Win16; D) - Дятел (робот-простукивалка)

их много разных, но все начинаются на "Yandex/", поэтому делайте поиск по этой строке.

Если сайт забанен Яндексом - его роботы все-равно ходят. Если роботов забанил хостер - их в логах не будет.

IP подсетей Яндекса тоже могу слить, но не в паблик :), только у Яндекса есть ещё роботы-иммитаторы - они ходят не с Яндексовских IP, а с Корбины, Комстара и ещё одного Московского провайдера.

И не подписываются они не Яндексовским UserAgent-ом :) клоакинг по IP обречён, если его не сделать с умом.

Ladycharm добавил 26.03.2010 в 15:37

TheEgoist:
Снова я, прошло 2 дня, странная картина, роботс еще тогда изменили, проверяем индекс по:
http://yandex.ru/yandsearch?surl=mmoworld.info&pag=u&numdoc=50&rd=0&lr=213

Сюда иногда влетают шлаковые страницы, например профиль какого-то пользователя, но через максимум час там снова пусто, что это может значить?

ЗЫ Платон так и не ответил..

В общем, наличие страниц в индексе проверяется этим запросом (или без www)

Но судя по этому - сайт не в бане. Нажмите "ещё с сайта" - увидите, что в кэше индекса есть 428 страниц, напрягает то, что на большинстве - предупреждения mysql:

Warning: mysql_numrows() expects parameter 1 to be resource и

Warning: Division by zero in /home/mmoworld/public_html/game_info.php on line 170

Страница http://www.mmoworld.ru/user_info.php?id=24 вообще не открывается - у Вас, похоже, сломался движок сайта (или хостинг сильно перегружен) и не отдает страницы, вот Яндекс их и выплевывает.

http://www.mmoworld.ru/game_info/?id=53 у меня тоже не открылась, а в кэше Яндекса она есть.

Может Вас ДДОСят?

Смотрите логи сайта.

TheEgoist:
Умнег,
У нас такой роботс висит:
User-agent: *
Disallow: /

User-agent: Yandex
Host: mmoworld.info
Crawl-delay: 4
Disallow:

User-agent: Googlebot
Crawl-delay: 4
Disallow:

User-agent: StackRambler
Crawl-delay: 4
Disallow:

User-agent: Mail.ru
Crawl-delay: 4
Disallow:

User-agent: Nigma
Crawl-delay: 4
Disallow:

User-agent: Mediapartners-Google
Disallow:

User-agent: Cys
Disallow:

Эгоист, Вас ввели в заблуждение.

Ваш Роботс.тхт (который дал хостер) абсолютно правильный, для Яндекса ничего не запрещает - можете проверить его прямо в Яндексе.

Причина в чем-то другом, посмотрите логи - заходит ли робот Яндекса. Поиск по строке "Yandex/".

Потеребите хостера - нонче у хостеров стало модно банить роботов Яндекса.

Если хостер не банил ботов - пишите Платонам.

PS: роботс от хостера - достаточно грамотный, запрещает всю ненужную "шелуху". Но если нужен трафик или сервисы с bing|yahoo|webalta - их надо прописать тоже, в отдельные секции.

Секцию Mediapartners-Google можно не прописывать робот-рекламщик Адсенса (как и Бегуна и Директа) - robots.txt вообще не читают по определению.

Bitman:
Пытаюсь скормить через аддурилку Яндекса новые страницы сайта.
Аддурилка отвечает что , но бот Yandex/1.03.003 (compatible; Win16; D) так и не появляется...
Попытки вызвать D бота продолжаются 3-й день. Чем могут быть вызваны проблемы с Yandex/1.03.003 (compatible; Win16; D)?

Дятел должен стукнуться сразу же - проверить robots.txt и код http-статуса морды сайта. Яндекс должен проверить доступность сервера.

Попробуйте сделать, сайт недоступным (например в .htaccess Deny All) и сунуть в адурелку - что ответит. Может адурелка сломалась? Было такое года три назад: что в неё ни сунь - на все отвечала О'К.

PS:Можно проверить доступность сайта для Яндекса, загрузив в него robots.txt

PS: Только что проверила на новом домене - робот после адурелки приходит моментально.

bober:
аналитикс, вебмастертулз - разные аккаунты

А заходили на них с одного российского IP и с одного копма. Куки-то свои WMT все может прочитать.

Нельзя сетку в WMT.

ssochi.com:
Спасибо за материал ценный, давно бьюсь с PPC ) Уже готов впасть в отчаяние.........
сайт, тематика охота рыбалка ... с посещалкой где-то 800... иногда бывает до 50 ! кликов. Доход 1.2 в день... где-то так, иногда меньше...
это как ? )

1.2$ в сутки - это более-менее нормально для данной тематики и посещаемости. Там в общем рекламодателей не так много, или надо найти в этой теме свои узкие ниши, как писал slon7 :)

Если трафик будет с уклоном в сторону продажи снегоходов/катеров/яхт - стоимость кликов будет выше.

PS: Не впадайте в отчаянье - на одном сайте и одной тематике сложно добиться стабильного успеха. Дело может быть совсем не в PPC: мало рекламодателей -> дешевые клики. Надо брать объёмами трафика, он в этой тематике добывается в разы легче, чем, например, в загородной недвижимости.

slon7:
первое, а вы собираете статистику через интерфейс по каждому блоку? Ваше предложение вполне логично для сайтов с несколькими блоками на страницах.

Да, на странице по несколько блоков.

Статистика собирается только когда кликабельность подозрительно низкая, для Adsensа настраиваю каналы, для РСЯ и Begun-а - доработанным dmonitor-ом.

slon7:
кликабельность нижнего блока в конце текста очень спорное заявление

В "абстрактном" случае - да. На медицине (и ещё кое-где) дочитывают до конца и очень хорошо кликают на нижних блоках Бегуна.

slon7:
третье, секреты раскрывают и много, а вот ниши не палят, чтобы пионеры своим энтузиазмом не выжигали за несколько недель. 🚬

Если не учить пионеров - где тогда брать рефералов :)

А за секретами мастерства новичкам надо лезть в архивные топики за 2006-2007 год, когда общение было более открытым.

Sower:
Лучше получать 10000 кликов по 10 центов, чем 2 клика по 50$. Где много платят там мало трафика и большие трудозатраты для его получения.

Лучше - не лучше, но стопудофф надёжнее и стабильнее.

Burik:
Самые дорогие клики это тематика форекс. Буду лепить сайт под форекс))

В форексе уже давно денег нет, тема высосана до последней косточки.

Прислушайтесь к совету Sower - истину глаголет.

WhiteShaman:
При разговоре с коллегами всплыло мнение, что у РСЯ биды по прежнему намного выше Бегуна.

В загородной недвижимости - биды РСЯ существенно выше.

По сущности обоих систем (РСЯ - полузакрытая, сильномодерируемая для ВМ и рекламодателей; Бегун - открытая и массовая, с низкими пороговыми требованиями) их сравнивать некорректно - они не заменяют, а дополняют друг друга. В каждой есть свои "фишки" и для ВМ и для рекламодателей.

РСЯ искусственно поддерживает баланс количества рекламных площадок и рекламодателей, сдерживая падение стоимости размещения рекламы/кликов.

В Бегуне, если площадок больше, чем рекламодателей - стоимость размещения рекламы/кликов падает.

WhiteShaman:
Коллеги, не подскажете, у кого какие биды по тематикам:
- стройматериалы
- недвижимость
- финансы и кредиты
- форекс
- грузоперевозки

Такое деление на тематики слишком общее, поэтому разброс бидов в тематике будет отличаться в 5 раз и более (для узкоспециализированных сайтов).

Что и заметно по ответам коллег.

yaroslav89:
Также интересно было бы усшылать, если у кого-то сайты в РСЯ, к примеру с 200-300 ун. в сутки?

Есть. Есть и с меньшей посещаемостью.

Как отметили выше, посещаемость для принятия в РСЯ - по-барабану.

PS: В плане заработка, цель: сделать сайт под РСЯ не оправдывает затраченных средств, уже года 2 - точно.

slon7:
shmelina интересны показания кликабельности каждого блока. 🚬

Без привязки к конкретному типу сайта - не особо :) Если человек дочитывает текст до конца - нижний блок по кликабельности обходит все остальные (а вызывать его на странице надо первым - стоимость клика должна быть выше).

Если текст - нечитабельная портянка - нижние рекламные блоки "отдыхают и нервно курят в сторонке".

Даже на одинаковых по таматике и структуре сайтах, но сделанных в разном цветовом дизайне - в плане кликабельности блоки работают по-разному. Поэтому универсальных схем нет - надо пробовать и экспериментировать.

PS: Причина 10 неправильный порядок вызова рекламных блоков (если их несколько). Первыми надо вызывать блоки, показываемые на самых кликабельных местах. Но, возможно, это выходит за рамки курса для начинающих ВМ.

PPS: Применительно к Бегуну есть ещё одна причина низких бидов, но что-то гуру не спешат раскрывать свои секреты :)

Всего: 4257