Title:形式文法と言語処理


自然言語 日常私たちが会話に使っている言語
人工言語 特定の目的のために作られた言語
プログラム言語 とくにコンピュータ処理のために作られた言語


文脈自由文法(形式文法)

N:書換えを行う対象となる非終端記号の集合
T:書換えを行うことができない終端記号の集合
P:書換え(生成)規則の集合
S:書換えを開始する最初の非終端記号となる開始記号

これらで定義されている。

G=(N,T,P,S)

文脈自由言語 自由文法によって生成される文の集合


言語の構成要素 文字
字句(トークン)
文字
言語


字句規則 文字から字句を構成(生成)するための規則
構文規則 字句の正しい並べ方の規則


字句解析 字句規則に基づいた字句の検査、切出しを行う。
文字規則は、正規表現を用いて表すことができ、正規表現には、それと等価な有限オートマンが存在します。
構文解析 字句解析によって切り出された字句を構文規則に従って解析し、文法的正当性を検査する。