UTF-8 для Яндекс.Директ API

C явно указаной кодировкой в браузере?

Пробовал вообще не использовать функцию utf8?

Исходные данные точно в windows-1251 поступают?

Определить utf8 или windows-1251 можно так:

function detectUTF8($string){

return preg_match('%(?:[\xC2-\xDF][\x80-\xBF]|\xE0[\xA0-\xBF][\x80-\xBF]|[\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}|\xED[\x80-\x9F][\x80-\xBF]|\xF0[\x90-\xBF][\x80-\xBF]{2}|[\xF1-\xF3][\x80-\xBF]{3}|\xF4[\x80-\x8F][\x80-\xBF]{2})+%xs', $string);

}

Или альтернатива:

function detect_encoding($string) {  

   static $list = array('utf-8', 'windows-1251');

   

   foreach ($list as $item) {

     $sample = iconv($item, $item, $string);

     if (md5($sample) == md5($string))

       return $item;

   }

   return null;

}

skAmZ добавил 16.09.2011 в 18:04

форум из функции detectUTF8 хрень сделал... "***91;" - меняем на "[" и "***93;" на "]"

Именно - с явным указанием utf-8 (выбор в меню).

Пробовал. После засовывания в json_encode, вместо строк с русскими буквами на выходе оказываются null. То есть при преобразовании целиком теряются русские. Яндекс успешно на это ругается.

Да. Беру код из примера Яндекса, сохраняю через FAR в кодировке Win (до сих пор это всегда был windows-1251). Данные находятся прямо в коде-примере, поэтому они точно в windows-1251. На всякий случай делал преобразование windows-1251 - utf-8 - windows-1251 - получал в браузере корректную windows-1251.

function detectUTF8($string){

return preg_match('%(?:[\xC2-\xDF][\x80-\xBF]|\xE0[\xA0-\xBF][\x80-\xBF]|[\xE1-\xEC\xEE\xEF][\x80-\xBF]{2}|\xED[\x80-\x9F][\x80-\xBF]|\xF0[\x90-\xBF][\x80-\xBF]{2}|[\xF1-\xF3][\x80-\xBF]{3}|\xF4[\x80-\x8F][\x80-\xBF]{2})+%xs', $string);

}

Возвращает 0 там, где цифры или английские строки, и 1, где строки русскоязычные:

function detect_encoding($string) {  

   static $list = array('utf-8', 'windows-1251');

   

   foreach ($list as $item) {

     $sample = iconv($item, $item, $string);

     if (md5($sample) == md5($string))

       return $item;

   }

   return null;

}

Везде возвращает не null.

Слава Шевцов добавил 16.09.2011 в 18:25

Да. Функция видна корректно в окне цитирования.

Значит данные уже в utf8.

Но тогда

Этого не может быть, json_encode так поступает только с русскими символами в кодировке windows-1251. utf8 нормально должен обрабатывать.

Если не null то что?) utf8 или windows-1251?

skAmZ добавил 16.09.2011 в 19:06

А после json_encode русские символы так и остаются русскими или вылдядят примерно так: "\u043b\u043e\u0440\u043b\u043e\u0440"?

skAmZ добавил 16.09.2011 в 19:08

Кстати говоря, у меня русские символы становлятся такими "\u0441\u043a\u0430\u0447\u0430\u0442\u044c" (это слово "песня").

Именно это и наблюдается - сую в windows-1251 и получаю null. Сую в utf8 и получаю:

Точнее вот это:

В ответ прилетает:

Слава Шевцов, единственное что могу предложить это оставить без изменения фунцию utf8, т.е. не менять utf8_encode. Попробовать так... но почему-то мне кажется что вы уже так пробовали :)

Тогда попробовать сначала данные переконвертировать в ISO-8859-1 и затем пустить их через функцию utf8.

Увы, да. Пробовал. Запрос в Яндекс ушёл успешно, но кампания была создана странно: вместо русских букв - квадратики :(

Попробовал. Вот что получилось:

То есть вместо русских строк на этот раз подставились пустые строки.

От Яндекса прилетело:

Слава Шевцов, я тут поковырялся.

Попробуй так:

1. исходную строку имеем в windows-1251.

2. $s=iconv('windows-1251', 'utf-8', $s); // s наша исходная строка

3. $s=iconv('ISO-8859-1', 'utf-8', $s);

И вот полученную строку пускаем через json_encode.

Т.е. вместо исходного "$struct[$key] = utf8_encode($value);". пишем:

$struct[$key] = iconv('ISO-8859-1', 'utf-8', iconv('windows-1251', 'utf-8', $value));

Если и это не поможет то тогда уже только в суппорт)

Бред какой-то. Но он работает! Спасибо.

Слава Шевцов, согласен, бред. Но яша декодирует в обратном порядке json_decode -> utf8_decode. От судя и плясали, что нужно передать чтобы после utf8_decode был нормальный русский текст при просмотре в utf8 :)