2021年2月 – 算譜とドリア

[c++]文字列から１文字ずつ、サロゲートペアと異体字セレクタを考慮しつつ取り出す

Unicode文字列から「１文字ずつ」を取り出す場合、異体字セレクタやサロゲートペアを考慮に入れる必要がある。
以下、日本語環境での話(モンゴル文字の異体字セレクタ等は未対応)。

1.std::wstring(2バイト環境)の場合

以前の記事で書いたとおり、異体字セレクタは文字の末尾に4byte分の情報が付加される。(C++Builderで異体字セレクタを使う)

このため、wchar_tが2byteの場合、wstringの「１文字」が取り得るバイト数は以下の４通りになる。

「１文字」の４パターン	バイト数
基本文字(基本多言語面)	2byte
サロゲートペア	4byte
基本文字の異体字セレクタ付	6byte
サロゲートペアの異体字セレクタ付	8byte

以下、文字列から、１文字ずつをstd::vectorに格納するメソッド。

std::vector<std::wstring> create_wstring_vec( const std::wstring& wstr )const
{
    std::vector<std::wstring> ret_wstrings;

    for( size_t i = 0; i < wstr.length(); ++i )
    {
        const unsigned long c = static_cast<unsigned long>( wstr[i] );

        // 異体字セレクタの判定:
        if( c == 0xDB40 // IVSの上位バイト:
         && ( i + 1 ) < wstr.length()
         && ( 0xDD00 <=  wstr[i+1] && wstr[i+1] <= 0xDDEF )
         && !ret_wstrings.empty() )
        {
            // 直前に格納された文字に異体字情報を追加:
            ret_wstrings[ret_wstrings.size()-1] += wstr.substr( i, 2 );
            ++i;
        }
        // サロゲートペアの判定
        else if( 0xD800 <= c && c <= 0xDBFF )
        {
            std::wstring ws = wstr.substr( i, 2 );
            ret_wstrings.push_back( ws );
            ++i;
        }
        // その他
        else
        {
            std::wstring ws = wstr.substr( i, 1 );
            ret_wstrings.push_back( ws );
        }
    }
    return ret_wstrings;
}

std::vector<std::wstring> create_wstring_vec( const std::wstring& wstr )const

{

std::vector<std::wstring> ret_wstrings;

for( size_t i = 0; i < wstr.length(); ++i )

{

const unsigned long c = static_cast<unsigned long>( wstr[i] );

// 異体字セレクタの判定:

if( c == 0xDB40 // IVSの上位バイト:

&& ( i + 1 ) < wstr.length()

&& ( 0xDD00 <= wstr[i+1] && wstr[i+1] <= 0xDDEF )

&& !ret_wstrings.empty() )

{

// 直前に格納された文字に異体字情報を追加:

ret_wstrings[ret_wstrings.size()-1] += wstr.substr( i, 2 );

++i;

}

// サロゲートペアの判定

else if( 0xD800 <= c && c <= 0xDBFF )

{

std::wstring ws = wstr.substr( i, 2 );

ret_wstrings.push_back( ws );

++i;

}

// その他

else

{

std::wstring ws = wstr.substr( i, 1 );

ret_wstrings.push_back( ws );

}

return ret_wstrings;

}

(wchar_tが16bit/unsignedであることを前提にしたコード)

2.std::string(utf-8)の場合

utf-8文字列をstd::stringに突っ込んで使う場合もあるので(自分自身はやらないが)、ちょっと調べた。以下のような方法で取り出せる(たぶん)。

utf-8文字は、先頭バイトを見ると１文字分のバイト数が分かるので、サロゲートペア判定は特に必要ない。だが、そこで取れるバイト数には異体字セレクタ情報は反映されないので、自前で処理する必要がある。

文字に付加される異体字セレクタは計４byte分で、漢字用のIVSでは以下の範囲を取るようだ。

バイト順	値の範囲
１	0xF3　(固定)
２	0xA0　(固定)
３	0x84～0x87
４	0x80～0xBF (0x80～0xAF)

４バイト目は、３バイト目が0x87の時に限り最大で0xAF(たぶん)。

以下、utf-8文字列の格納されたstd::stringから１文字ずつ取り出すメソッド。
なお、IVS最初の0xF3は、単体でも1byteで文字を表現するので、まず2byte分を判定する必要がある。

std::vector<std::string> create_u8string_vec( const std::string& utf8str )const
{
    using uchar = unsigned char;

    std::vector<std::string> ret_strings;

    for( size_t i = 0; i < utf8str.length(); ++i )
    {
        // 先頭バイト
        uchar c( utf8str[i] );

        // 異体字セレクタ判定
        // -------------------
        // まず2byte分調べる
        if( c == 0xF3
         && i
         && ( i + 3 ) < utf8str.length()
         && static_cast<uchar>( utf8str[i+1] ) == 0xA0 )
        {
            // 残る2byteを調べる
            uchar c1 = static_cast<uchar>( utf8str[i+2] );
            uchar c2 = static_cast<uchar>( utf8str[i+3] );
            // ３番目の値が0x84～0x86で且つ４番目の値が0x80～0xBF
            // または
            // ３番目の値が0x87で且つ４番目の値が0x80～0xAF
            if( 0x84 <= c1 && 0x80 <= c2
            && (
                 ( c1 <= 0x86 && c2 <= 0xBF )
                 ||
                 ( c1 == 0x87 && c2 <= 0xAF )
               )
              )
            {
                // 直前に格納された文字に異体字情報を追加:
                ret_strings[ret_strings.size()-1] += utf8str.substr( i, 4 );
                i += 3;
            }
        }
        // それ以外ならバイト数を求めて格納
        else
        {
            unsigned int byte_count = 0;

            if( 0x00 <= c && c <= 0x7F )
                byte_count = 1;
            else if( 0xC0 <= c && c <= 0xDF )
                byte_count = 2;
            else if( 0xE0 <= c && c <= 0xEF )
                byte_count = 3;
            else if( 0xF0 <= c && c <= 0xF7 )
                byte_count = 4;
            else if( 0xF8 <= c && c <= 0xFB )
                byte_count = 5;
            else if( 0xFC <= c && c <= 0xFD )
                byte_count = 6;

            if( byte_count )
            {
                ret_strings.push_back( utf8str.substr( i, byte_count ) );
                i += byte_count - 1;
            }
        }
    }
    return ret_strings;
}

std::vector<std::string> create_u8string_vec( const std::string& utf8str )const

{

using uchar = unsigned char;

std::vector<std::string> ret_strings;

for( size_t i = 0; i < utf8str.length(); ++i )

{

// 先頭バイト

uchar c( utf8str[i] );

// 異体字セレクタ判定

// -------------------

// まず2byte分調べる

if( c == 0xF3

&& i

&& ( i + 3 ) < utf8str.length()

&& static_cast<uchar>( utf8str[i+1] ) == 0xA0 )

{

// 残る2byteを調べる

uchar c1 = static_cast<uchar>( utf8str[i+2] );

uchar c2 = static_cast<uchar>( utf8str[i+3] );

// ３番目の値が0x84～0x86で且つ４番目の値が0x80～0xBF

// または

// ３番目の値が0x87で且つ４番目の値が0x80～0xAF

if( 0x84 <= c1 && 0x80 <= c2

&& (

( c1 <= 0x86 && c2 <= 0xBF )

( c1 == 0x87 && c2 <= 0xAF )

)

{

// 直前に格納された文字に異体字情報を追加:

ret_strings[ret_strings.size()-1] += utf8str.substr( i, 4 );

i += 3;

}

// それ以外ならバイト数を求めて格納

else

{

unsigned int byte_count = 0;

if( 0x00 <= c && c <= 0x7F )

byte_count = 1;

else if( 0xC0 <= c && c <= 0xDF )

byte_count = 2;

else if( 0xE0 <= c && c <= 0xEF )

byte_count = 3;

else if( 0xF0 <= c && c <= 0xF7 )

byte_count = 4;

else if( 0xF8 <= c && c <= 0xFB )

byte_count = 5;

else if( 0xFC <= c && c <= 0xFD )

byte_count = 6;

if( byte_count )

{

ret_strings.push_back( utf8str.substr( i, byte_count ) );

i += byte_count - 1;

}

return ret_strings;

}

3.サンプルプログラム

C++Builderによるサンプルプログラム。

TFormにTEditとTMemoをひとつずつ、TButtonを２つ貼り付ける。
TEditとTMemoのフォントは游明朝、サイズを40にしておく。 TEditに以下の文字列を入れておく。

文字列の漢字部分は、最初の「辻」から順に
・基本文字
・異体字セレクタ
・基本文字
・サロゲートペア
・サロゲートペア
・サロゲートペアの異体字セレクタ付
英字は小文字のａが全角、大文字のAは半角。

3-1.std::wstringを使った例

Button1Clickを次のように実装。

void __fastcall TForm1::Button1Click(TObject *Sender)
{
    const std::wstring wstr = Edit->Text.c_str();
    std::vector<std::wstring> wstring_vec = create_wstring_vec( wstr );
    for( const auto& s : wstring_vec )
    {
        Memo->Lines->Add( s.c_str() );
    }
}

void __fastcall TForm1::Button1Click(TObject *Sender)

{

const std::wstring wstr = Edit->Text.c_str();

std::vector<std::wstring> wstring_vec = create_wstring_vec( wstr );

for( const auto& s : wstring_vec )

{

Memo->Lines->Add( s.c_str() );

}

結果：

3-2.std::stringを使った例

C++BuilderにはUTF8String型があるので、変換にはそれを使っている。
Button2Clickを以下のように実装。

void __fastcall TForm1::Button2Click(TObject *Sender)
{
    UTF8String U8Str = Edit->Text;
    const std::string u8str = U8Str.c_str();

    std::vector<std::string> string_vec = create_u8string_vec( u8str );

    for( const auto& s : string_vec )
    {
        UTF8String U8Str = s.c_str();
        Memo->Lines->Add( U8Str );
    }
}

void __fastcall TForm1::Button2Click(TObject *Sender)

{

UTF8String U8Str = Edit->Text;

const std::string u8str = U8Str.c_str();

std::vector<std::string> string_vec = create_u8string_vec( u8str );

for( const auto& s : string_vec )

{

UTF8String U8Str = s.c_str();

Memo->Lines->Add( U8Str );

}

結果：
　
以上、とりあえずのテストでは上手くいっているが、何か見落とし等があるかも。

[C++Builder]画像ファイルをテキストで保存、読込

C++Builderのフォーム情報(*.dfm)ではアイコン等の画像を16進文字列で保存しているようで、似たようなことをやってみる。(使いどころはパッとは思い浮かばないが)。

とりあえずVclの例。

サンプルプログラム

TFormにTButtonとTImageを２つずつと、TOpenPictureDialogを設置。TImageは２つともProportionalプロパティをtrueにしておく。

画像を16進文字列で保存

手順は以下の通り
①画像ファイルをTMemoryStreamに読み込む
②サイズの同じunsigned char配列を用意し、MemoryStreamからデータを書き込む
③１バイトずつ16進文字列に変換
④文字列をファイル保存

なお、C++Builderは、デフォルトではcharがsignedなので、明示的にunsigned charを指定している。

#include <memory>   // shared_ptr
#include <sstream>   // stringstream
#include <iomanip>   // "setw":

#include <IOUtils.hpp>   // TPath
#include <jpeg.hpp>
#include <pngimage.hpp>
#include <gifimg.hpp>

void __fastcall TForm1::Button1Click(TObject *Sender)
{
    if( OpenPictureDialog->Execute() )
    {
        // 表示テスト用、Image1に画像を読込・表示
        Image1->Picture->LoadFromFile( OpenPictureDialog->FileName );

        // ①MemoryStreamにファイルから画像を読み込む
        std::shared_ptr<TMemoryStream> ms( new TMemoryStream );
        ms->LoadFromFile( OpenPictureDialog->FileName );

            /* ImageからMemotyStreamに書き込んでも可
            Image1->Picture->SaveToStream( ms.get() );
            ms->Position = 0; // MemotyStreamの読み書き位置オフセットを先頭に
            */


        // ②unsigned char 配列にMemoryStreamの内容を書き込む
        const long long size = (long long)( ms->Size );
        unsigned char* buffer = new unsigned char[size+1];
        ms->Read( buffer, size );

        // ③配列要素の値を16進文字列に変換
        std::stringstream ss;
        ss << std::setfill('0') << std::hex; // 0~Fまでは先頭0埋め、16進
        for( long long i = 0; i < size; ++i )
        {
            ss << std::setw( 2 ); // 二桁にセット
            ss << static_cast<int>( buffer[i] );
        }
        delete [] buffer;

        // ④文字列をファイルに書き込む
        String HexStr = ss.str().c_str();
        TFile::WriteAllText( L"test.txt", HexStr );
    }
}

#include <memory> // shared_ptr

#include <sstream> // stringstream

#include <iomanip> // "setw":

#include <IOUtils.hpp> // TPath

#include <jpeg.hpp>

#include <pngimage.hpp>

#include <gifimg.hpp>

void __fastcall TForm1::Button1Click(TObject *Sender)

{

if( OpenPictureDialog->Execute() )

{

// 表示テスト用、Image1に画像を読込・表示

Image1->Picture->LoadFromFile( OpenPictureDialog->FileName );

// ①MemoryStreamにファイルから画像を読み込む

std::shared_ptr<TMemoryStream> ms( new TMemoryStream );

ms->LoadFromFile( OpenPictureDialog->FileName );

/* ImageからMemotyStreamに書き込んでも可

Image1->Picture->SaveToStream( ms.get() );

ms->Position = 0; // MemotyStreamの読み書き位置オフセットを先頭に

// ②unsigned char 配列にMemoryStreamの内容を書き込む

const long long size = (long long)( ms->Size );

unsigned char* buffer = new unsigned char[size+1];

ms->Read( buffer, size );

// ③配列要素の値を16進文字列に変換

std::stringstream ss;

ss << std::setfill('0') << std::hex; // 0~Fまでは先頭0埋め、16進

for( long long i = 0; i < size; ++i )

{

ss << std::setw( 2 ); // 二桁にセット

ss << static_cast<int>( buffer[i] );

}

delete [] buffer;

// ④文字列をファイルに書き込む

String HexStr = ss.str().c_str();

TFile::WriteAllText( L"test.txt", HexStr );

}

C:\Windows\Web\Wallpaper\Theme2\img7.jpgを読み込んだ結果:

保存されたテキストデータをエディタで見てみる。

テキストファイルから画像を読込、表示

復元手順は以下の通り。
①文字列のテキストファイルを読み込む
②２文字ずつ数値変換しunsigned char配列に格納
③MemoryStreamにデータを書き込む
④TImageにMemoryStreamから読み込む

void __fastcall TForm1::Button2Click(TObject *Sender)
{
    // ①ファイルから文字列を読み込む
    String AllText = TFile::ReadAllText( L"test.txt" );

    // ②必要な長さのunsigned char配列を確保
    AnsiString AText = AllText; // std::stringに格納するためAnsiStringに変換
    std::string all_text = AText.c_str();
    const long long count = static_cast<long long>( all_text.length() / 2 );
    unsigned char* buffer = new unsigned char[count+1];

    // ③文字列から２文字ずつ数値に変換し、unsigned char配列に格納
    for( long long i = 0; i < all_text.length(); i += 2 )
    {
        std::string tmp = all_text.substr( i, 2 );
        buffer[i/2] = stoi( tmp, nullptr, 16 );
    }
    buffer[count] = '\0';

    // ④unsigned char 配列の値をMemotyStreamに書き込む
    std::shared_ptr<TMemoryStream> ms( new TMemoryStream );
    ms->WriteBuffer( buffer, count );
    ms->Position = 0;
    // Image2に画像データを読込・表示
    Image2->Picture->LoadFromStream( ms.get() );

    delete [] buffer;
}

void __fastcall TForm1::Button2Click(TObject *Sender)

{

// ①ファイルから文字列を読み込む

String AllText = TFile::ReadAllText( L"test.txt" );

// ②必要な長さのunsigned char配列を確保

AnsiString AText = AllText; // std::stringに格納するためAnsiStringに変換

std::string all_text = AText.c_str();

const long long count = static_cast<long long>( all_text.length() / 2 );

unsigned char* buffer = new unsigned char[count+1];

// ③文字列から２文字ずつ数値に変換し、unsigned char配列に格納

for( long long i = 0; i < all_text.length(); i += 2 )

{

std::string tmp = all_text.substr( i, 2 );

buffer[i/2] = stoi( tmp, nullptr, 16 );

}

buffer[count] = '\0';

// ④unsigned char 配列の値をMemotyStreamに書き込む

std::shared_ptr<TMemoryStream> ms( new TMemoryStream );

ms->WriteBuffer( buffer, count );

ms->Position = 0;

// Image2に画像データを読込・表示

Image2->Picture->LoadFromStream( ms.get() );

delete [] buffer;

}

復元して右側のImageに表示した結果：

FireMonkeyの場合

FireMonkeyでも、ほぼ同様なコードで可能。
違いは
・OpenPictureDialogがないので代わりにOpenDialogを使う
・Image関連のコードの修正(Pictureの代わりにBitmapを使う)
・jpeg/png/gif用のインクルード不要
だけ。
Image関連の違いは以下の通り。

/** Image1に画像画像を読込・表示 **/
// VCL:
Image1->Picture->LoadFromFile( OpenPictureDilalog->FileName );
// FireMonkey:
Image1->Bitmap->LoadFromFile( OpenDialog->FileName );

/** Image1からMemotyStreamに書き込む **/
// VCL:
Image1->Picture->SaveToStream( ms.get() );
// FireMonkey:
Image1->Bitmap->SaveToStream( ms.get() );

/** Image2にMemoryStreamから画像を読込・表示 **/
// VCL:
Image2->Picture->LoadFromStream( ms.get() );
// FireMonkey:
Image2->Bitmap->LoadFromStream( ms.get() );

/** Image1に画像画像を読込・表示 **/

// VCL:

Image1->Picture->LoadFromFile( OpenPictureDilalog->FileName );

// FireMonkey:

Image1->Bitmap->LoadFromFile( OpenDialog->FileName );

/** Image1からMemotyStreamに書き込む **/

// VCL:

Image1->Picture->SaveToStream( ms.get() );

// FireMonkey:

Image1->Bitmap->SaveToStream( ms.get() );

/** Image2にMemoryStreamから画像を読込・表示 **/

// VCL:

Image2->Picture->LoadFromStream( ms.get() );

// FireMonkey:

Image2->Bitmap->LoadFromStream( ms.get() );

対象ファイル

TImageに読込・表示できる画像ならおおおむね可能な模様。JPEGのほかPNG/BMP/GIF/TIF、さらにアイコンファイル(ico)でＯＫだった。メタファイル(emf)はVclでないと読み込めない模様。

ただし、C:\Windows\Web\Wallpaper\Theme1配下にあるWindows10壁紙用のjpeg画像は、VCLの場合だけ失敗した。テキストとして保存はできても、復元でTImageに読み込む時点で「サポートされていないストリーム形式」のエラーが出て、復元不能だった。理由は謎。

C++Builder10.2.3/Windows10(64bit/バージョン20H2)で確認。

[c++]vectorを配列に／配列をvectorに

どっちからどっちに変換するかで方法が違うため、すぐ忘れるのでメモ。

vectorから配列

std::copyを使う方法。

std::vector<int> v = {0,1,2,3};

int array[v.size()];
std::copy(v.begin(), v.end(), array);

std::vector<int> v = {0,1,2,3};

int array[v.size()];

std::copy(v.begin(), v.end(), array);

配列からvector

std::copyやvectorのメンバ関数assignを使う方法もあるが、c++11以降なら、以下がたぶん一番シンプル。

int array[] = {0,1,2,3,4};

std::vector<int> v( std::begin(array), std::end(array) );

int array[] = {0,1,2,3,4};

std::vector<int> v( std::begin(array), std::end(array) );

配列の大きさとか

以下、おまけ。
既存のvectorに配列を代入するなど、配列のサイズ(要素数)を知りたい場合、c++11以降だと、sizeofを利用する以外の方法も用意されている。

int array[] = { 1,2,3,4,5 };

// c++11以降
const size_t cnt = std::extent<decltype(array),0>::value;
// c++17以降
const aize_t cnt = std::size(array);

int array[] = { 1,2,3,4,5 };

// c++11以降

const size_t cnt = std::extent<decltype(array),0>::value;

// c++17以降

const aize_t cnt = std::size(array);

ただし、既存のvectorに、異なるサイズの配列を代入するだけなら、メモリや実行速度にシビアでなければ、いちいちサイズを求めなくとも以下で済むといえば済む。

std::vector<int> tmp_v( std::begin(array), std::end(array) );
v = tmp_v;

1 2	std::vector<int> tmp_v( std::begin(array), std::end(array) ); v = tmp_v;