5-1.文字コード(Linux)コマンドラインでASCIIコード表を作る
odコマンドでASCIIコード表を作ってみます。 odの-taオプションを使うと、ダンプ時に文字コードの場合は文字を、制御コードの場合は制御の種類を表示することができます。 ベースになるコマンドとしてはodの他には、seqとpe...
5.文字コード
5-1.文字コード
5-1.文字コード文字列の文字コードを手軽に確認
コンピュータ上で文字を使うために、各文字に数値が割り当てられていますが、これを文字コードといいます。ASCII、Shift_JIS、EUC、UTF-8などがそうです。 例えば、ASCIIなら、アルファベットのAが65(16進数で41)、H...
5-1.文字コードSJISテキストを使うメリットとは
Linuxを触っていると何気なくUTF8を当然のように使っていますが、日本語でWindowsを使うときはSJISが一般的です。 何故UTF8なのでしょうか。一般的なSJISではダメなのでしょうか。 両者を比べてみましょう。 全角の...
5-1.文字コード雨ニモマケズnkfでひらがなカタカナ変換、ついでにrubyで縦書き
黒木華（くろきはる）の主演ドラマ『重版出来！』、面白いです。 主人公の黒沢心は、外見は柔道やってたようには全然見えないのですが、性格が体育会系で明るくて元気です。仕事のモチベーション上がります。第五話では、運を貯めるために、良い行いをする...
5-1.文字コードLinux/Windowsのファイル名変換にconvmvを使う
『怪盗グルーのミニオン大脱走』 まだ見てないのですが、ミニオン語の歌に惹かれたので見に行く予定です。 ミニオンたちと人間は言語が違っても通じ合えるので素敵です。 今回はWindowsとLinux間での文字コード変換のための...
5-1.文字コードSJISでなくUTF8を使わなければならない理由
SJIS文字コードは2Byteで構成されていますが、特定の制御コードを含む文字は正規表現が使えません。 カタカナのSJISテキスト sjis.txtを作りました。各行の文字がgrepできるか見てみましょう。 上記の結果だと上...
5-1.文字コード青空文庫をコマンドラインで読む(SJIS->UTF8)
コマンドラインのキー操作に慣れると、いろんなことをコマンドラインで行いたくなりますが、読書もその一つです。 青空文庫の夏目漱石の小説「こころ」をダウンロードして読みたいと思います。 zip圧縮されていますので、unzipしま...