Тоже разобрался и нашел выход сам, если кому понадобится - рассказываю:
Импортировать csv файл так и не получилось из-за проблем с кодировкой.
Решил пойти по другому пути и попробовать создать из обычной excel таблицы xml файл и его импортировать в wordpress. И о чудо - получилось! Главное правильно конвертировать в xml.
Я пользовался дополнением к excel от microsoft, скачать его можно с официального сайта майкрософт
Инструкцию как конвертировать нашел здесь
После конвертации у меня сразу получился xml файл с кодировкой utf8 и он прекрасно загрузился в wordpress плагином wp all import
Спасибо за подсказку с плагином! функционал у него хороший, тоже, то что мне нужно. Но не могу решить проблему с кодировкой :(
Пробовал изменять кодировку csv файла на разные, в том числе utf8, но не помогает. Все равно не загружает русский текст. Менял кодировку в нотепад++
Удалось ли вам решить эту проблему?