自然言語処理とは、自然言語をコンピュータに処理させ、タスクを行う一連の処理のことです。
この記事では、自然言語の概要、実用例、手法まで、IT初心者の方にもわかりやすく解説します。
自然言語処理とは？
自然言語とは、日本語や英語のような、人間が日常的に使用する言語のことです。解釈が一意であるコンピュータ言語（プログラム言語）とは対比の関係にあるといえます。
一般に、自然言語をコンピュータに処理させ、タスクを行う一連の処理を自然言語処理といいます。
自然言語処理でできること（実用例）
自然言語処理は様々な目的に利用されています。ここでは実用例として「翻訳」「文章分類」「系列ラベリング」を紹介します。
翻訳
英語の文章を日本語に訳すなど、異なる言語の翻訳を行います。
Google翻訳が数年前と比較して格段にわかりやすくなったと実感する方も多いかと思いますが、ここには自然言語処理技術の進化が反映されています。
文書分類
ある文章・文書がどのカテゴリーに所属するかを判別します。スパムメールの判別などに利用されます。
系列ラベリング（固有表現抽出）
文章中の特定の単語にラベルを付与します。
例えば「昨日の11時に発生したインシデントの被害総額は3億円です」という文章において、「11時」に時間タグ、「3億円」に金額タグを付与するタスクなどが相当します。人名や金額といった機密情報のマスキングなどに利用されます。
自然言語処理の難しさ
自然言語処理の難しさは、自然言語の曖昧さにあります。
例えば「学校でカメラに映る生徒を見た」という文章では、発話者が学校にいてカメラに映る生徒を見たのか、はたまた学校のカメラに映っている生徒をどこかで見たのか、とどちらの解釈も可能です。人間であれば文脈に応じていずれが適切かを判断することができますが、曖昧性を嫌うコンピュータにとってはこの判断が非常に難しいのです。
特に日本語は、英語と比較してさらに処理難易度が高いといわれています。日本語は、主語を省略できるといった文構造の自由度の高さから、単語間に必ずスペースが存在しており、文構造にも明確な規則がある英語と比べて曖昧さが大きいからです。
以上の理由から、人間と同等の言語処理をコンピュータが実現することは難しいといわれていましたが、近年の自然言語処理技術の目覚ましい発展により、タスクによっては人間以上の精度を発揮できるようになっています。
自然言語処理の手法は？
自然言語処理で最も重要なのが、言葉の数値表現です。コンピュータは数値データしか取り扱うことができないため、人間の言葉をそのまま解釈することはできず、何らかの方法で人間の言葉を数値化する必要があるのです。この数値表現をどう表現するかによって幾つかの手法が存在しています。
Word2Vec
近年主流となっているのは、単語を分散表現とよばれる多次元の数値ベクトルで表現するアプローチです。2013年に発表されたWord2Vecという手法では、ひとつひとつの単語を数百次元の数値ベクトルに変換し、単語間で足し引きすることで、意味の似ている単語とそうでない単語をうまく表現できるようになりました。しかしWord2Vecでは単語ごとに固有のベクトルを与えるため、多義語の表現ができません。例えば「bank」という単語には、銀行以外にも土手、斜面といった全く異なる意味があります。両方の意味を同じ数値ベクトルで表すのは直感的にも適切ではありません。
BERT
Word2Vecの弱点を克服できる手法として有名なのが、2018年にGoogle社が開発した手法であるBERTです。BERTは様々な自然言語処理タスクで人間を超えるパフォーマンスを発揮したことや、パラメータ調整を事前学習・ファインチューニングに分けることで汎用性の高い言語モデルを短時間の学習で実現できる利便性から、自然言語処理におけるブレイクスルーといわれています。
おわりに
自然言語処理技術は日進月歩で進化しており、今後もGAFAを中心としたテックジャイアントにより様々な手法が開発され、日常生活を便利にしていくと想定されます。本記事では概念的な説明をしましたが、興味のある方はいろいろな言語モデルのアルゴリズム的・数学的理解にもチャレンジしてみると、より自然言語処理の奥深さを味わえます。
コメント