drumato.com

about
contacts
免責事項
ライセンス
記事一覧
日記一覧
ENGLISH
Rust製のパーサコンビネータnom v6.0.0を解剖する

Rust製のパーサコンビネータnom v6.0.0を解剖する

parser-combinatorcode-readingnomrust

この記事は IPFactory Advent Calendar 2020 の1日目です.
IPFactoryという技術サークルについては 余談 を御覧ください.

普段コンパイラ自作をしていて,LLパーサを手書きすることが多い私ですが,
「そういえばパーサライブラリ使ったことないな」と思い,現在 自作コンパイラプロジェクト のパーサを書き換えています.
そこで使っているのが, Geal/nom というパーサコンビネータのライブラリです.

Rustの強力な型システムの上でジェネリックなパーサ関数を実装しているということで,
きっと様々なRustのエッセンスが含まれていると思い,コードリーディングしようと感じました.
また,いずれパーサライブラリも自作したいなと思っているので,
その前段階として既存実装を調べる必要があると思いました.

Rustのパーサライブラリとしてもう一つ有名なものに Marwes/combine がありますが,
これも記事上げようかなーなんて考えています.
IPFカレンダーにあげようかなー,他メンバーの記事で埋まらなかったら上がるのでお楽しみに.

今回はv6.0.0を対象とします.
投稿前日に見返したら6.0.1がリリースされていたけど気にしない

前提: nomとは

nom内部の解説を前に,nom自体の解説をしておきます.
README.mdを読むと,次のように書いてあります.

nomはRustで書かれたパーサコンビネータのライブラリです.
nomは速度やメモリ消費を犠牲にすることなく安全なパーサを構築することを支援します.
高速で正確なパーサを実現するために,Rustの強力な型システムやメモリ安全性を活用しています.
バグを生みやすい"パイプライン"を抽象化するための関数やマクロ,トレイトなども提供しています.

実際の設計は後述しますが,
nomの設計はコンパイル時に決まるような "静的ディスパッチ" の集合で実現されています.
(実行時に型を解決する"動的ディスパッチ"ではなく)
パーサコンビネータを使用するときにパーサ同士を連携させる部分のバグが起こりやすい,みたいな話なのでしょうか.
確かに暗黙的で動的な型システムの上で動かそうと思ったらヒヤヒヤしてしまいますね.

サンプル

README.mdに記載のサンプルを見てみます.
コメントで簡単に解説を加えているので,参考にしてください.

1extern crate nom; 2use nom::{ 3 IResult, 4 bytes::complete::{tag, take_while_m_n}, 5 combinator::map_res, 6 sequence::tuple 7}; 8 9#[derive(Debug,PartialEq)] 10pub struct Color { 11 pub red: u8, 12 pub green: u8, 13 pub blue: u8, 14} 15 16fn from_hex(input: &str) -> Result<u8, std::num::ParseIntError> { 17 u8::from_str_radix(input, 16) 18} 19 20fn is_hex_digit(c: char) -> bool { 21 c.is_digit(16) 22} 23 24fn hex_primary(input: &str) -> IResult<&str, u8> { 25 // take_while_m_n(min, max, condition) は, 26 // 入力列の各要素に対しconditionを適用し,それがtrueを返した回数が[min..max]に含まれるかどうか判別する. 27 // map_res(parser, f) は,parserの返す値に関数fを適用して返す. 28 // 今回はtake_while_m_nが二桁の16進数(の文字列)を返すはずなので,それに対してfrom_hexを適用し,u8型を返すという感じ. 29 map_res( 30 take_while_m_n(2, 2, is_hex_digit), 31 from_hex 32 )(input) 33} 34 35fn hex_color(input: &str) -> IResult<&str, Color> { 36 // tag() はシンプルに引数のパターンと合致するかチェック. 37 // カラーコードにおいて "#" は意味を持たないので,パーサの成果物は捨ててしまう. 38 let (input, _) = tag("#")(input)?; 39 40 // tupleは関数に渡したタプル内のパーサを順次適用して,その結果をタプルに格納して返す. 41 // カラーコードは先頭から順にRGBとなっているため,その数値をパターン代入で受け取り, 42 // Color構造体を構築して返す,ということをしている. 43 let (input, (red, green, blue)) = tuple((hex_primary, hex_primary, hex_primary))(input)?; 44 45 Ok((input, Color { red, green, blue })) 46} 47 48fn main() {} 49 50#[test] 51fn parse_color() { 52 // パース関数の返り値チェック 53 // hex_color のシグネチャを見ると分かる通り,返り値はResultになっている. 54 // タプルの第一要素には"パース成功後のeatされた文字列"が, 55 // 第二要素には"パース関数が成功した時に返す成果物"が格納されている. 56 assert_eq!(hex_color("#2F14DF"), Ok(("", Color { 57 red: 47, 58 green: 20, 59 blue: 223, 60 }))); 61}

nomを解剖する3ステップ

nomのパーサ定義は次のような手順で読みすすめるとシンプルに理解できます.

  • nomのパーサ関数のほとんどは nom::IResult<I, O, E> を返す
  • パーサ関数が受け取る型はnomが定義するトレイトのいくつかを実装している必要がある
    • nom::bytesnom::character はこれらトレイト境界を利用して制約付きジェネリクスを実現している
    • 例えば nom::bytes はバイトストリームを扱う関数群が定義するが,引数にはバイトストリームの振る舞いを定義したトレイト境界を設けている
  • パーサ関数の実装は,これらトレイトが持つ関数を組み合わせて実現している

nom::IResult<I, O, E>

まずは基本的な型から見ていきましょう.
nomでは殆どすべてのパーサ関数が IResult という型を返すようになっています.

1type IResult<I, O, E = Error<I>> = Result<(I, O), Err<E>>;

IInput を表し,パーサ関数に入力するパース対象の型を示します.
OOutput を表し,パース成功時に返す型を示します.
パーサは パース成功後のeatされた文字列 を返すので,
Result::Ok には (eatされた文字列, パース成功時に生成される成果物の型) という値の組が入ります.

コンパイラのコードでは fn integer_literal(i: &str) -> nom::IResult<&str, ast::Node> のように,
パース結果をASTノードにすることが多いです.

ここで Errorstd::error::Error ではなく nom::error::Error であり, Errnom::Err です.

1#[derive(Debug, PartialEq)] 2pub struct Error<I> { 3 /// position of the error in the input data 4 pub input: I, 5 /// nom error code 6 pub code: ErrorKind, 7} 8 9pub enum ErrorKind { 10 Tag, 11 MapRes, 12 MapOpt, 13 // stripped 14} 15 16pub enum Err<E> { 17 Incomplete(Needed), 18 Error(E), 19 Failure(E), 20} 21 22pub enum Needed { 23 Unknown, 24 Size(NonZeroUsize), 25}

まず,nomのパーサが返す可能性のあるエラーは

  • Incomplete ... パースが完了しなかった
  • Error ... 回復可能なエラー
  • Failure ... 回復不可能なエラー

の三種類です.
それぞれがどのような場面で使われるのかについては後述します.
デフォルトでは nom::IResult<I, O, E = Error<I>> となっているので, IResult<&str, ast::Node> とすると Error.input: &str のようになります.
nom::Errstd::error::Error を実装しているので,
Result<T, Box<dyn std::error::Error>> のような関数内で ? 演算子を使用することも可能です.

パーサ関数とトレイト境界

先程 nom::IResult<I, O, E> について紹介しましたが,
パーサ関数内での I は,traits.rs に記載されているトレイト群(のいくつか)を実装していることを強制します.
nomでは &str&[u8] など,これらのトレイトが既に実装済みの型を使うこともできますが,
ユーザが自身で定義した型にこれらトレイトを実装することで任意の型が扱えるようになっています.

実際に一つパーサ関数を見てみましょう.
nom::bytes::complete::is_a という,
パターンに適合する先頭部分文字列をeatして返す関数を例にあげます.

1pub fn is_a<T, Input, Error: ParseError<Input>>( 2 arr: T, 3) -> impl Fn(Input) -> IResult<Input, Input, Error> 4where 5 Input: InputTakeAtPosition, 6 T: FindToken<<Input as InputTakeAtPosition>::Item>, 7{ 8 move |i: Input| { 9 let e: ErrorKind = ErrorKind::IsA; 10 i.split_at_position1_complete(|c| !arr.find_token(c), e) 11 } 12}

まず取り上げるべきなのは, T: FindToken<<Input as InputTakeAtPosition>::Item> という構文です.
これは Fully Qualified Syntax というもので,
今回の例で言えば,

  • Input 型が実装する InputTakeAtPosition トレイト
  • その関連型である Item をパラメータとして渡した FindToken トレイト
  • それを実装する 型 T

という意味です.
Fully Qualified Syntaxについてはこちらのサンプルも合わせてご覧ください.

例えば Input = &str とします.
impl<'a> InputTakeAtPosition for &'a str を見ると,
type Item = char; と宣言されています.
また,impl<'a> FindToken<char> for &'a str が実装されているので,
この関数に &str を渡すことができるとわかります.
つまり, "&str 型のパーサを書くとき,is_a の引数に指定するパターンも &str でかけるよ" という意味になるのです.

返り値はクロージャですが,クロージャを返す関数では impl trait 型を指定するのが一般的です(Rust by Example を参照).
Rustにおけるクロージャについてはこちらの記事がとてもわかりやすいです.

トレイト定義を見るとわかりますが,
第一引数に指定した P: Fn(Self::Item) -> boolstr::find に渡し,
Some(i) if i != 0 ならばパース成功とする,というようなイメージです.

追うのが中々大変だと思うので,まずは Input = &str, Item = char に限定した実装を用意しました.
下記サンプルはGitHubにも置いてあります.

1/// 適当なエラー型 2#[derive(Debug)] 3enum Error { 4 Failed, 5} 6 7/// impl FindToken<char> for &strの簡易実装 8/// 単にnomの実装の中身を持ってきただけ 9fn find_char<'a>(arr: &'a str, c: char) -> bool { 10 arr.chars().any(|i| i == c) 11} 12 13/// impl InputTokenAtPosition for &str の簡易実装 14/// これも実際の中身を取り出した 15fn split_at_position1_complete<'a, P>(s: &'a str, predicate: P) -> Result<(&'a str, &'a str), Error> 16where 17 P: Fn(char) -> bool, 18{ 19 match s.find(predicate) { 20 Some(0) => Err(Error::Failed), 21 Some(i) => Ok((&s[i..], &s[..i])), 22 None => { 23 if s.is_empty() { 24 Err(Error::Failed) 25 } else { 26 Ok((&s[s.len()..], &s[..s.len()])) 27 } 28 } 29 } 30} 31 32/// nom::bytes::complete::is_a の実装ほぼそのまま 33fn specialized_is_a<'a>(arr: &'a str) -> impl Fn(&'a str) -> Result<(&'a str, &'a str), Error> { 34 move |i: &str| split_at_position1_complete(i, |c| !find_char(arr, c)) 35} 36 37fn main() { 38 let digit = specialized_is_a("1234567890"); 39 eprintln!("is_a(\"1234567890\")(\"123abc\") => {:?}", digit("123abc")); //=> is_a("1234567890")("123abc") => Ok(("abc", "123")) 40 41 eprintln!( 42 "is_a(\"1234567890\")(\"Drumato\") => {:?}", 43 digit("Drumato") 44 ); //=> is_a("1234567890")("Drumato") => Err(Failed) 45 46 eprintln!("is_a(\"1234567890\")(\"\") => {:?}", digit("")); //=> is_a("1234567890")("") => Err(Failed) 47}

これだけであれば,文字列操作で実現された単なる(関数を返す)関数です.
これを Rustの強力な静的ディスパッチ によって汎用的にし,
specialized_is_a の引数や,返すクロージャの引数や返り値をジェネリクスによって実現したものがnomというわけです.

かなり複雑な型パズルになっているので初見は分かりづらいかもしれませんが,
これらは全てコンパイル時に決定し Box<dyn trait> 等の動的ディスパッチによるコストもない,非常にキレイな設計になっていると言えます.

ここまでで,nomのパーサを読む前提知識が身につきました.

  • パーサの殆どは IResult<I, O, E = Error<I>> = Result<(I, O), Err<E>> という型を返す
  • パーサ関数はnomが定義するトレイトを用いて制約付きジェネリクスを実現している
    • &[u8]&str 等の関してはデフォルト実装が存在し,すぐに使い始められる
    • それ以外の型にトレイトを実装することで,任意の型をパーサ関数に入力できる
  • パーサ関数は各トレイトに定義された振る舞いの関数を組み合わせて実現されている
    • 例えば nom::bytes::complete::is_aFindToken::find_tokenInputTakeAtPosition::split_at_position1_complete など

nomのモジュール,パーサ紹介

nomは以下のモジュールを公開しています.

モジュール名説明
nom::bitsビットレベルのパーサ
nom::bytesバイトストリームのパーサ
nom::characterchar 単位のパーサ
nom::combinatorパーサコンビネータ群
nom::errornomのエラー管理
nom::multiパーサを引数に受け取って,複数回適用したりみたいなことに使う
nom::number数値関連のパーサ
nom::regexp正規表現を用いたパーサ定義
nom:sequence(a, b, c)など,シーケンス構造のパーサ

これらの関数をすべて紹介していたら大変なことになっていますので,
いくつか取り上げて実装を見てみる,ということをやってみましょう.

nom::bytes::complete::tag

以下のようにして使うことができる,シンプルなパターンマッチングのパーサです.
下記サンプルコードはGitHub にもおいてあります.

1fn elf_magic_number(i: &[u8]) -> nom::IResult<&[u8], &[u8]> { 2 nom::bytes::complete::tag(&[0x7f, 0x45, 0x4c, 0x46])(i) 3} 4 5fn drumato(i: &str) -> nom::IResult<&str, &str> { 6 nom::bytes::complete::tag("drumato")(i) 7} 8 9#[test] 10fn drumato_test() { 11 assert_eq!(Ok((";", "drumato")), drumato("drumato;")); 12 assert!(drumato("not_drumato;").is_err()); 13} 14 15#[test] 16fn elf_magic_number_test() { 17 assert_eq!( 18 Ok((&[0x00][..], &[0x7f, 0x45, 0x4c, 0x46][..])), 19 elf_magic_number(&[0x7f, 0x45, 0x4c, 0x46, 0x00]) 20 ); 21 22 assert!(elf_magic_number(&[0x01, 0x02, 0x03, 0x04, 0x05]).is_err()); 23}

ELFバイナリのパーサもバイトストリームパーサを構築することで実装できますし,
&str のような型も勿論使うことが出来ます.
今回はELFバイナリのマジックナンバーをパースする関数を作っています.

非常にシンプルな関数なので,その実装も直感的です.
実際の定義 を見てみます.

1pub fn tag<T, Input, Error: ParseError<Input>>( 2 tag: T, 3) -> impl Fn(Input) -> IResult<Input, Input, Error> 4where 5 Input: InputTake + Compare<T>, 6 T: InputLength + Clone, 7{ 8 move |i: Input| { 9 let tag_len = tag.input_len(); 10 let t = tag.clone(); 11 let res: IResult<_, _, Error> = match i.compare(t) { 12 CompareResult::Ok => Ok(i.take_split(tag_len)), 13 _ => { 14 let e: ErrorKind = ErrorKind::Tag; 15 Err(Err::Error(Error::from_error_kind(i, e))) 16 } 17 }; 18 res 19 } 20}
  • 入力文字列とパターン tag を比較して,成功すればパターンの長さで分割して返す
    • 後述しますが, take_split() はある一点で区切って,"区切りより前の列" をタプルの第一引数にして返すので注意です
    • "Drumato".take_split(4) => ("ato", "Drum") という感じ
    • これはまさに序盤で説明した (eatされた文字列, パーサ関数の成果物) という構成.
  • 失敗すれば,適切に ErrorKind を設定して返します.
    • Err(Err::Error(Error::from_error_kind(i, e))) と非常に分かりづらくなっています
    • 冗長に書くと Result::Err(nom::Err::Error(nom::error::Error::from_error_kind(i, e))) となる

先程nom::bytes::complete::is_aを見たのと同じように,
クロージャを返す関数になっています.
先程詳しくは説明しませんでしたが,引数の型 T はあくまでマッチを判断するパターンのために使われます.
パーサに入力される型は Input であり, T と同じではない点に注意してください.

ここでは T == Input == &str と限定して,
この関数を読むために必要な部分を持ってきました.
といっても,メソッド名からある程度予想ができますが.

1// Tに必要な実装 2impl<'a> InputLength for &'a str { 3 #[inline] 4 fn input_len(&self) -> usize { 5 self.len() 6 } 7} 8 9// Inputに必要な実装 10impl<'a> InputTake for &'a str { 11 #[inline] 12 fn take(&self, count: usize) -> Self { /* stripped */ } 13 14 // return byte index 15 #[inline] 16 fn take_split(&self, count: usize) -> (Self, Self) { 17 (&self[count..], &self[..count]) 18 } 19} 20 21// Inputに必要な実装 22impl<'a, 'b> Compare<&'b str> for &'a str { 23 #[inline(always)] 24 fn compare(&self, t: &'b str) -> CompareResult { 25 self.as_bytes().compare(t.as_bytes()) 26 } 27 28 #[inline(always)] 29 fn compare_no_case(&self, t: &'b str) -> CompareResult { /* stripped */ } 30}

これだけ見ると素朴な実装に見えますね.
実際にはこれらがコンパイル時にガチャガチャと組み合わされて実現されます.
なんだか魔法のように見えますが,これこそRustの実現する型システムの恩恵,という感じがしますよね.

nom::character::complete::satisfy

satisfy に渡した関数 fn(char) -> bool が真を返す場合,その文字をパースして返すという関数です.
これ単体で用いることは少なく,以下のように他のパーサ関数と組み合わせて使う事が多いです.

1use nom::character::complete::satisfy; 2use nom::combinator::map; 3use nom::multi::many1; 4 5fn bin(i: &str) -> nom::IResult<&str, String> { 6 map( 7 many1(satisfy(|c| c == '0' || c == '1')), 8 |chars: Vec<char>| chars.into_iter().collect(), 9 )(i) 10} 11fn main() {} 12 13#[test] 14fn bin_test() { 15 assert_eq!(Ok(("", "0".to_string())), bin("0")); 16 assert_eq!(Ok(("", "11010".to_string())), bin("11010")); 17 assert!(bin("").is_err()); 18}

これも 実際の定義を見てみましょう.

1pub fn satisfy<F, I, Error: ParseError<I>>(cond: F) -> impl Fn(I) -> IResult<I, char, Error> 2where 3 I: Slice<RangeFrom<usize>> + InputIter, 4 <I as InputIter>::Item: AsChar, 5 F: Fn(char) -> bool, 6{ 7 move |i: I| match (i).iter_elements().next().map(|t| { 8 let c = t.as_char(); 9 let b = cond(c); 10 (c, b) 11 }) { 12 Some((c, true)) => Ok((i.slice(c.len()..), c)), 13 _ => Err(Err::Error(Error::from_error_kind(i, ErrorKind::Satisfy))), 14 } 15}

InputIter::next() が返す,シーケンスの最初の要素に対して cond を適用し,
その返り値が真であった場合のみパース成功としています.
非常にシンプルで分かりやすい実装なので特に取り上げることもありませんが,
iter_elements() で返ってくるのはイテレータそのものという点に注意です.
&str であれば chars() を呼び出しています.

まとめ

今回はnomを徹底解剖することで,Rustの強力な言語機能を使ったパーサライブラリの実装方法を学びました.
トレイトやジェネリクスの機能等の機能を活用することでRustっぽいキレイなコードを書くことができますが,
意識せず惰性で作っているとごちゃっとしたコードが出来上がってしまいがちです.
今回のコードリーディングはそのような自分のプログラミングに喝を入れるという意味でとても勉強になりました.

今回取り上げた関数以外にも非常に多くの機能が実現されているnomですが,
本記事で身につけた知識を活かせば,実装を読むことはそう難しくないはずです.
使い方のサンプルが紹介されていない関数についても,今回踏んだ流れで読んでいけば使えそうですね.

余談: IPFactoryについて

IPFactoryとは,情報科学専門学校という学校に存在する学内サークルです.
IPFに在籍するメンバーがそれぞれ自身の専門分野についての勉強やアウトプット活動を行っています.
サークル内有志メンバーで CTFを主催 したりもしています.
IPFに所属する各メンバーのTwitterやブログ等は こちらのページ を参照してください.

余談2: nom::branch::alt について

ここらへんのツイートが関連しています.
[https://twitter.com/drumato/status/1329698474049249280:embed]

先述したように,
nom::branch::alt は引数に nom::branch::Alt トレイトを実装することを強制しています.
nom::branch::Altパーサのリスト に対して実装されていて,
リストの要素である各パーサは nom::Parser トレイトが実装されていることになっています.

実際の定義 を見てみると,
FnMut(I) -> nom::IResult<I, O, E> トレイトを実装する引数は全て受け取れるようになっていますが,
nom::branch::alt にインプット以外の資源を渡したいことがあります.

わたしが実際に取り組んでいる 自作コンパイラ では,
ASTの実装に typed-arena を使用している為に,
アリーナアロケータを使いまわしたい,というモチベーションがあります.

Rustの型システムの限界か?(というかそれこそが型システムの恩恵なので当たり前なんですが)と思いとても困っていたのですが,
そこで keen さんの webml という実装を見つけました.

この実装を見ると,構造体メソッドとして実装された各パーサ関数が FnMut(I) -> nom::IResult<I, O, E> を実現するクロージャを返す ようになっています.
クロージャ内部では構造体のメンバやパーサ関数に渡される引数を利用しても上手くキャプチャされ,
返されるクロージャは上記トレイトを返すので nom::branch::alt に渡すことができるという仕組みです.

非常に感動し,すぐに私の実装にも取り入れました.
こちら などが参考になるかと.

Keenさんの実装にはとても助けられました.
ここで改めて紹介しておきたいとおもいます.