Sad Spirit

Рейтинг
14
Регистрация
31.08.2001
Должность
webmaster
Как писал wolf
Эдак скоро может дойти до того, что рекламные ссылки из настойчиво продвигаемого Яндекс-Директа перестанут отличаться от результатов поиска, а мешающие проплаченным рекламным ссылкам сайты будут вручную "корректироваться".

Налицо явное передёргивание... Ссылки, проплаченные Яндекс-Директу сейчас очень даже выделяются, а вот ссылки проплаченные Агаве как раз не выделялись. А кто в этом был виноват с точки зрения среднего пользователя, попавшего на проплаченную страницу? Яндекс. Пользователь (к своему счастью) даже слово "Агава" может не знать...

Я не совсем, честно говоря, понимаю, на что именно обижаются представители Агавы...

Представим себе такую ситуацию: вот ездят по городу автобусы, некоторые из которых со всех сторон раскрашены рекламой. Не возникает вопроса, кто продаёт рекламное место --- автобусный парк, либо народ, который они на это уполномочили. И вот появляются бодрые ребята, специалисты по граффити, --- штаны на два размера больше, бейсболки, полны карманы баллончиков с краской. И вместо того чтобы поганить автобусы своими стандартными картинками, начинают рисовать на них рекламу. За деньги. И предлагать всем желающим свои услуги. Кто при этом в .опе? Автобусный парк, т.к. он содержит "носитель рекламы", но теряет при этом свой доход от её продажи... И если бы хмурые рабочие гипотетического парка поймали бы гипотетических специалистов по граффити, последние бы так легко как Агава сейчас не отделались...

Как писал savel
А чем плох обработчик 404 ошибки,

Навскидку:

  • срач в логах;
  • два запроса к серверу вместо одного;
  • эээ... нетривиальная работа с методом POST.

ну и навертели... MultiViews для таких использовать --- примерно как молотком шурупы заворачивать. Он используется для выбора наиболее подходящего представления одного документа.

Гипотеза об ошибке такая: браузер, как правило выдаёт заголовок

Accept: разная/хрень, q=1.0; */*, q=0.1

Поисковику */* не нужно, потому он просит только

Accept: разная/хрень

Введённый в заблуждение MultiViews'ом сервер видит файл типа application/x-httpd-php и в первом случае отдаёт результаты его работы, а во втором --- ошибку 406, т.к. документ поисковику явно не подходит.

Второе решение, хм, тоже через тыльную часть сделано. Я бы предложил так:


RewriteEngine On
RewriteBase /portal/
RewriteRule ^([a-z]+)/([0-9]+)/?$ /portal.php?id=$2&kat=$1 [L]
RewriteRule ^([a-z]+)/?$ /portal.php?kat=$1 [L]
Как писал Professor
есть ли способ "послушать" какие заголовки передает робот/браузер серверу ?

в связке Apache/PHP --- getallheaders()

Первоначальное сообщение от LiM
Как человек, выдвигавший то предположение, вынужден указать на неточность пересказа - тогда речь шла не про робота I, а про робота P, который и является "картиночным".
Робот I, наоборот, занимается индексированием только текстовой информации. Если бы он выдавал некорректный заголовок, Яндекс давно бы остался с пустой поисковой базой...

Тут дело не в роботе и его заголовках, а в том, что сервер не хочет по какой-то причине отдавать роботу содержимое страницы. Либо это какая-то аномалия в настройке Apache, либо неправильно написанный скрипт...

Да, с роботами я тупил. :D

Но если заглянуть в rfc2616


10.4.7 406 Not Acceptable

The resource identified by the request is only capable of generating
response entities which have content characteristics not acceptable
according to the accept headers sent in the request.

то станет понятно, что робот Яндекса вполне может отдавать заголовок типа Accept-Charset или Accept-Language...

Надо бы из скрипта тогда отавать ещё Content-type с правильным языком и кодировкой.

Первоначальное сообщение от Fad

Робот с клиентом D хавает, а вот с робот I не хочет.
В чем проблема?

Тут, ЕМНИП, уже выдвигалось предположение, что робот I (картиночный) выдаёт заголовок типа


Accept: image/*

Естественно при запросе документа типа text/plain (например robots.txt) и text/html (содержимое каталога) сервер отвечает ему кодом 406.

Первоначальное сообщение от savel
http://www.yandex.ru/yaca/c6.112-0-0-0-0=0.html
Индексы цитирования у многих сайтов слетели до мизера Но при этом порядок сортировки в таблице сохраняется по прежним значениям.
Так Работа для Вас rdw.ru при СY=1 висит на 3 месте

Я бы сказал, что у них генерация каталога взглючнула, а вовсе не индексы цитирования слетели... Вот результат поиска нашего ИЦ

Приятно, конечно, что коллеги так внимательно наблюдают за нашими показателями. :D

Первоначальное сообщение от Vyacheslav Tikhonov
Что-то не то с этой статистикой. Как могли сюда попасть многословные запросы?
сникерс супер
из рук в руки

сникерс супер щас вроде бы рекламируют по телевизору, а газета "из рук в руки" --- весчь весьма популярная, но

  • с ходу непонятно, где в top100 она должна находиться;
  • набрать адрес www.izrukvruki.ru несколько сложнее, чем "из рук в руки" в строке запроса.
Первоначальное сообщение от Yura_Z
Да помоему бесполезно что то против них делать, я сам пишу такие проги, вернее писал, так любой символ вытяну с html страницы.

Очевидно, что если речь о специализированной программе, "заточенной" под конкретный сайт, то против неё мало что сделаешь. Но большая часть спаммеров --- люди со способностями к производительному труду (в частности написанию программ)... эээ... ниже средних. И, следовательно, пользуются они готовыми решениями, которые "задавить" как раз можно.

А страница такая тоже покатит. :) В качестве дополнительной меры. :)

Originally posted by vmegap:
Через javascript получается неплохо. Тестировал свой форум спаммерскими экстракторами - они враз ослепли.

А какими программами щас спаммеры пользуются? User-agent все они, я так понимаю, подделывают... Смотрел отчёты по логам, там только одно подозрительное название: EmailWolf.

Что использует простой русский спаммер?


Еще через NOINDEX поставил несколько миллионов мейлов с предупреждением, что по этому списку спам посылать не стоит, это адреса активных антиспаммеров-хакеров из "черного списка" спамщиков.

Т.е. та же ловушка, только технически не слишком сложная? Типа, вспоминая военную кафедру, "пассивные помехи".

А если активные: пишем страницу, содержащую много "адресов", запрещаем её через robots.txt/NOINDEX, ссылки ставим через однопиксельный gif... Обычный пользователь не зайдёт, нормальный поисковик тоже. Всех кто зашёл --- давим. Есть у кого-нибудь опыт использования?

Всего: 73