Хорошо бы разбить этот файл на части, потом считывать в БД по частям.
Как не странно, но юзабилити не есть красивый сайт, между ними тонкая грань. Юзабилити - есть удобство, красивый сайт не гарантирует удобства. Красивый сайт - эстетика, юзабильным может быть сайт и со старым дизайном. Юзабильность - нужная штука, полагаю к этому нужно стремиться.
Хороший инструмент, главное не переусердствовать с его использованием.
На каком движке сайт?
Попробуйте выгрузить в XML файл номенклатуру, посмотрите в них, полные ли названия. Если да, то нужно смотреть на стороне сайта, возможно стоит какое-либо ограничение по длине названия.
Битрикс вполне неплохая платформа для создания масштабируемого интернет магазина. Разумеется для коддинга под битрикс требуется больше времени и сноровки, но если начать разбираться то все получиться и не все так плохо.
В Apache есть специальные модули, которые помогут нам в этом деле, именуются они как status_module и info_module. По умолчанию они включены в стандартный пакет установки, так что, скорее всего вам не придется заниматься их установкой.
Так же есть Munin, Nagios, их нужно ставить отдельно, но оно того стоит.
Не открываются пути в указанные ошибках. Как правило либо проблема с наличием файло/папок, либо с отсутствием прав на них.
