Проблема "ш" и "И" в UTF-8 в нескольких лидирующих движках

Проблема: при использовании UTF-8 в ряде форумов и CMS буквы "ш" и "И" отображаются некорректно. Буква "ш" отображается как квадратик в IE и как "??" в FireFox, а буква "И" отображается как "п". У многих также встречаются другие проблемы с кодировками схожего характера. Различными пользователями проблемы были заявлены для vBulletin, Simplemachines forum (SMF), Drupal, Joomla... Вполне возможно, что список не ограничивается этими продуктами, так как проблемы идентичны, а значит, лежат за пределами конкретного движка.

При этом подразумевается, то что все кодировки настроены правильно, то есть уже для конкретной Базы Данных по запросу SHOW VARIABLES LIKE 'character_set%' выдается (в phpMyAdmin, например)

character_set_client utf8

character_set_connection utf8

character_set_database utf8

character_set_results utf8

character_set_server utf8

character_set_system utf8,

а по запросу SHOW VARIABLES LIKE 'collation%' выдается, например,

collation_connection utf8_general_ci

collation_database utf8_general_ci

collation_server utf8_general_ci.

В частности, character_set_database и collation_database необходимо верно задать при создании базы. А character_set_server задаётся в файле настроек my.cnf: в раздел [mysqld] (или [server]) надо прописать строку character_set_server =utf8 . Очень важно, что должны быть именно нижние подчеркивания, так как в Интернете и на сайте mysql как раз команда выглядит как character-set-server, но, поскольку там речь немного о другом, то в этом случае ничего не будет работать.

Итак, то, что вышесказанное выполнено - подразумевается, потому как, разумеется, данное сообщение не ставит целью предсказывать, как и что будет себе вести при разброде кодировок базы, сервера и т.д..

Важно то, что даже при верных настройках проблема остаётся.

Причина: судя по всему, кривизна скриптов. Вывод этот напрашивается потому, что есть продукты, работающие безо всяких проблем на том же сервере и на абсолютно аналогично настроенной БД.

Решение: в файле my.cnf, там же, где мы задаём character_set_server, в том же разделе [mysqld] или [server], необходимо прописать команду, отменяющую настройки character_set на стороне клиента. Таким образом, отсекается кривизна скрипта, эта команда лишает скрипт возможности проявить кривизну и испортить ею выдачу. Итак, надо прописать туда строку: skip_character_set_client_handshake. После этого надо перезапустить сервер баз данных MySQL.

Замечания:

--некорректно работающий форум не начинает работать корректно. Для того, чтобы всё заработало, его надо переустановить заново

--это решение применимо для MySQL, начиная от 4.1.15 и 5.0.13 .

Вывод: если мы не имеем доступа к серверным настройкам, либо используем более старые версии MySQL, описанное здесь явление может стать весьма серьезной проблемой для реализации проекта в кодировке UTF-8 с использованием ряда лидирующих на рынке продуктов, в том числе платных.