Mediapartners-Google запрашивает неправильные url

123
[Удален]
#11
dkameleon:
Может, в вашем случае то же самое?

Все страницы о которых я говорю реальные и доступны.

Ank
На сайте с 26.04.2004
Offline
108
Ank
#12
Mosik:
Как хостер может влиять на работу Гугловских Javascripts, которые определяют какой урл нужно запросить?

а он не на скрипты... он на реферер... но это в порядке предположения.

Ссылка за контент ( http://www.acma.ru ) прямая и безответная. ► [url=https://saas24.ru/saas_category/dedicated/?utm_source=forums&utm_medium=signatures&utm_campaign=dedicated_s24]Рейтинг серверов[/url] — ТОП10 ◄
[Удален]
#13

А какое отношение имеет определение реферер к хостингу? Реферер гуглом определяется на стороне клиента. Поправьте если ошибаюсь.

Вот лог общения браузера с сервером для примера:

GET /viewforum.php?f=39&topicdays=0&start=25 HTTP/1.1
Accept: image/gif, image/x-xbitmap, image/jpeg, image/pjpeg, application/x-shockwave-flash, application/msword, application/vnd.ms-excel, application/x-icq, */*
Referer: http://forum.webconsultant.com.ua/viewforum.php?f=39
Accept-Language: ru,uk;q=0.7,en-us;q=0.3
Accept-Encoding: gzip, deflate
User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 2.0.50727)
Host: forum.webconsultant.com.ua
Connection: Keep-Alive

HTTP/1.1 200 OK
Date: Fri, 01 Dec 2006 12:53:56 GMT
Server: Apache/1.3.37 (Unix) mod_auth_passthrough/1.8 mod_log_bytes/1.2 mod_bwlimited/1.4 FrontPage/5.0.2.2635.SR1.2 mod_ssl/2.8.28 OpenSSL/0.9.7a PHP-CGI/0.1b
Cache-Control: private, pre-check=0, post-check=0, max-age=0
Content-Encoding: gzip
Expires: 0
Pragma: no-cache
Vary: Accept-Encoding
X-Powered-By: PHP/4.4.3
Connection: close
Transfer-Encoding: chunked
Content-Type: text/html
dkameleon
На сайте с 09.12.2005
Offline
386
#14

А может даже не хостинг, а у кого-то из посетителей что-то?

У меня посетитель пытался извлечь не существующую картинку. в ответ ему 404 загрузилась. Возможно, куда-то кликнул, и эта страница благодаря реврайту, стала реферером. а медиапартнерс как раз и полез по рефереру.

Возможно, у одного из ваших посетителей что-то таким образом искажает рефереров, или не рефереров, а что-то другое, на что Медиапартнерс обращает внимание :)

Дизайн интерьера (http://balabukha.com/)
[Удален]
#15
dkameleon:
А может даже не хостинг, а у кого-то из посетителей что-то?

Я сам сейчас полазил по редкопосещаемым страницам. Потом посмотрел лог и как Вы думаете что я там увидел? Бот Mediapartners-Google пытался достучаться к этим страницам с искаверканым урлом. А я лазил разными браузерами.

А тем временем и на третьем сайте появилась такая хрень. :(

Ank
На сайте с 26.04.2004
Offline
108
Ank
#16

кстати да! ТС, проведите экспиремент, отфильтруйте логи по своему ИП и зайдите. куда побежит гугле-партнер? Если конечно Вы уверены что багов у вас нет.

О! мысли в голову приходят одновременно :)

OV
На сайте с 24.05.2006
Offline
4
#17

Аналогичная проблема. Все страницы, в адресе которых есть "?", запрашиваются Mediapartners-Google через %...

ZeHer
На сайте с 01.04.2006
Offline
87
#18
не тут ли собака порылась?

она тут не просто порылась, а и нагадила судя по всему.

Через JS в коде объявления урл(реферер) преобразовывается через encodeURIComponent() или escape(), это делается затем, что в урле могут встретися самые неожиданные символы, которые через JS передать без кодировки их вышеназванными функциями нельзя, а уже на стороне гугла урл преобразовывается в нормальный вид обратно и бот по нему идет.

Причем кодировка урл происходит на стороне ВАШЕГО сервера и гугль ее принимает уже такой как закодировал ваш сервер после чего раскодирует, предположим что сервер криво кодирует урл , отсюда выплывает что и обратная раскодировка будет такой же.

В чем кривость тут уже нужно разбиратся с хостером на месте.

Причин может быть множество, имхо причина гдето близко к output/input encoding , хотя могу и ошибатся.

ЗЫ, у этих функций есть ограничения допустимых кодировок как на входе так и на выходе.

Вполне возможно что и у гугля с этим не все впорядке, хотя у меня тоже урлы с ? пока не замечал таких проблем.

OV
На сайте с 24.05.2006
Offline
4
#19
ZeHer:


Причем кодировка урл происходит на стороне ВАШЕГО сервера и гугль ее принимает уже такой как закодировал ваш сервер после чего раскодирует, предположим что сервер криво кодирует урл , отсюда выплывает что и обратная раскодировка будет такой же.

Кодирование URL происходит, конечно же, на стороне сервера. Только проблема несколько в другом. Сервер показывает страницу по некоторому адресу, в котором есть "?". Скрипт AdSense должен взять адрес страницы на котором выполняется и отправить запрос к себе на сервер. Так вот на стороне Google некорректно выполняется обратное преобразование адреса. В результате вместо запроса на страницу "/test.html?param=1" выполняется запрос на страницу "/test.html%3Fparam=1". А это совершенно другая страница и поэтому сервер совершенно корректно поступает когда отдает 404.

ZeHer
На сайте с 01.04.2006
Offline
87
#20

Вах! гугл-адсенс облажался, не делает перекодировки принятого УРЛ.

Залез в логи тоже самое.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий