KNOWLEDGE - COLUMN ナレッジ - コラム

【エバンジェリスト・ボイス】2020年のトレンドAI技術~本格的な活用がついに始まった「自然言語処理」~

先端技術部 フェロー  玉越 元啓     
Cutting-Edge Technology Department / Motohiro Tamakoshi


みなさん、こんにちは。先端技術部の玉越です。 

今回は、「2020年のトレンドAI技術」をテーマでお送りします。

・BERT/GPT2,GPT3によりAIによる言葉や文脈の理解が進んだ結果、
 文章や開発言語(JAVA, HTMLなど)の自動生成も現実味を帯びてきた
・データの改ざんや悪意あるデータが新たな課題・脅威として認識されている
・最新のAIを学ぶときに大切なことーあらゆる分野の基礎が大事

2020年に新しく発表された、また、本格的な活用が始まったAI技術を紹介します。様々な人工知能の分野のうち、とくに、自然言語処理に注目して紹介していきます。自然言語とは、人間が日常的に使っている 言葉 をコンピュータに処理させる一連の技術のことです。

・BERT
 

2018年10月にGoogleが公開したモデルです。発表の際に、Googleは、「今回の論文は過去最大の飛躍だ。」とコメントしました。実際、BERTが検証・利用されるようになるにしたがって、言葉に関する人工知能のなかで、「AIがはじめて人間の話す言葉の文脈を理解できるようになった」とまでいわれるようになりました。2019年末にGoogleが検索サイトのアルゴリズムにBERTを組み込み利用されるようになったのですが、このBERTが組み込まれる前と後の検索結果を比較したものを例示します。下の図1をご覧ください。 

20201212コラム1_570x280

           図1:BERT利用前と後の検索結果の比較
※外部サイト:https://www.blog.google/products/search/search-language-understanding-bert
 

こちらは、ブラジルの旅行者がアメリカへ行く際にビザが必要かどうかを調べたときの検索結果です。
BERTが導入される前は、”US Citizens can travel to Brazil without red tape of a visa …“、つまり、アメリカ から ブラジルに行く際にビザが必要ないというニュースが検索結果のトップに来ています。もともと知りたかった”brazil traveler to usa”の情報とは逆の情報が検索結果のトップに来ています。

BERTが導入された後の検索結果は、”In general , tourists travelling to the United States require valid B-2 visas.…”、「通常アメリカ への 旅行者にはビザが必要」とあり、目的であった検索結果がトップに来ています。表示されている情報も米国大使館のものであり、 米国への渡航に際して調べるべき情報源 となっています。

“to”という単語はあらゆる文に登場する単語のため、検索するキーワードとしては相応しくないと考えられていました。しかし、”to”は前後に来る単語によって意味が変わるため、文脈の理解には重要な役割を持つ単語です。BERTによってこうした単語がもつ役割を理解できるようになり、その結果、文脈を理解できるようになったといわれるようになりました。

日本語においても、「てにをは」に代表される同様の単語について同じ効果が期待されており、人工知能学会での研究発表でも、日本語の文脈解釈にBERTを利用する数多くの試みが報告されています。

・GPT2,GPT3

G enerative P re-trained T ransformer modelsの頭文字をとって名付けられました。GPTは、特定のタスクにとらわれない、汎用的な自然言語処理の実現、つまり、人が言葉を理解して応答する能力の実現にむけた一連の研究です。

プレトレインド=事前に学習する、とあるとおり、特定のタスクに特化したモデルではなく、汎用性をもったモデルの開発を目的としています。基本的な仕組みは、文章にあらわれる次の単語を、それまでの全ての単語をもとに予測するモデルとなっています。このAIを開発するデータとして、インターネットのページが利用されました。このとき800万ページの文章が利用されたそうです。その結果、Q&Aや、テキスト要約などのさまざまな自然言語のタスクが実行できるようになりました。

GPT2は2019年2月に公開されましたが,あまりにも自然な文章が作成できすぎる危険性から、一旦公開が停止されました。

悪意あるユーザーがGPT2を用いることでどういった問題が生じるかを、より詳細に検討するための時間が必要となったのです。その結果、GPT2によって書かれた文章であることを判別するAIが開発・公開され、2019年8月にはその最終版が公開されました。日本語においても、GPT2を利用するための研究が進められていますが、あまりよい成果は出ていません。これは日本語の特徴である言葉の並びがかなり自由であることや、主語のような文章において重要な要素が省略可能であることがその理由だと考えています。 

せっかくなので、GPT2を用いて文章を自動生成してみました。

20201217コラム2_717x416     Message:https://www.idnet.co.jp/english/corporate/message.html

弊社、インフォメーション・ディベロプメント株式会社のメッセージのページです。冒頭の段落(上の図の赤枠内)をデータとしてAIに与えて、後続(上の図のグレーアウト部分)の文章を自動生成したものを紹介します。

まずは、冒頭の段落です。

The rapid development of information and communication technology is dramatically changing the environment surrounding the IT service industry. Customers' IT needs are changing every day and are becoming more diversified and sophisticated.

情報通信技術の急速な発展は、ITサービス業界を取り巻く環境を劇的に変化させています。お客様のITニーズは日々変化しており、多様化と高度化が進んでいます。

自動生成した文章、その1

A new breed of IT services is emerging in the IT world. These services are becoming more sophisticated, more complex, and more effective. They are creating new environments in which users can interact with the IT services and create new business models. The IT service industry is seeing a new type of automation. In this environment, new technologies, new ways of dealing with data, new business models are being developed. This is creating new opportunities for IT services.


<日本語訳>
ITの世界では、新しい種類のITサービスが登場しています。これらのサービスは、より洗練され、より複雑になり、より効果的になっています。彼らは、ユーザーがITサービスと対話し、新しいビジネスモデルを作成できる新しい環境を作成しています。 ITサービス業界は、新しいタイプの自動化を見ています。この環境では、新しいテクノロジー、データを処理する新しい方法、新しいビジネスモデルが開発されています。これにより、ITサービスに新しい機会が生まれています。

自動生成した文章、その2

We are continuously monitoring performance, and continuously monitoring our IT services. This is an important feature of our services because it allows us to identify if we are meeting the performance expectations of our customers. If we identify an issue with our IT service, we can take immediate action to address the issue, and/or address the issue during the course of the service. If we are able to identify a problem, we can take immediate action to resolve the problem, or resolve the issue during the course of the service.


<日本語訳>
私たちは継続的にパフォーマンスをモニタリングし、継続的にITサービスをモニタリングしています。これは、お客様が期待されるパフォーマンスを満たしているかという判断を可能とすることから、当社のサービスにおける重要な機能の一つです。 ITサービスの問題が特定された場合、サービスの過程で問題に対処したり、そして、またあるいは問題に対処したりするための迅速な措置を講じることができます。問題を特定できた場合は、直ちに問題を解決するか、サービスの過程で問題を解決することができます。

自動生成した文章、その3

As a result, IT service providers need to adapt to meet these changing needs. This is why the IT industry is facing a lot of challenges and issues which may result in the growth of the industry. At the same time, the IT service provider needs to be able to provide a high-quality customer service, which is the most critical requirement for the customer.

<日本語訳>
その結果、ITサービスプロバイダーはこれらの変化するニーズを満たすために適応する必要があります。これが、IT業界が業界の成長につながる可能性のある多くの課題や問題に直面している理由です。同時に、ITサービスプロバイダーは、顧客にとって最も重要な要件である高品質の顧客サービスを提供できる必要があります。

自動生成した文章、その4

We provide services in all areas from consulting services to system development/operation to cyber security. In addition, we are leveraging new technologies such as RPA, AI, IoT, and cloud computing to upgrade existing services and to support customers' digital transformation.


<日本語訳>
コンサルティングサービスからシステム開発・運用、サイバーセキュリティまで、あらゆる分野でサービスを提供しています。さらに、RPA、AI、IoT、クラウドコンピューティングなどの新しいテクノロジーを活用して、既存のサービスをアップグレードし、お客様のデジタルトランスフォーメーションをサポートしています。

このうち一つは、実際に掲載されている文章です。どれは本物か想像しながら、実際のメッセージのページをご覧ください。
Message:https://www.idnet.co.jp/english/corporate/message.html 

自動生成された文章も、違和感なく読むことができることに驚かれたのではないでしょうか。このGPT2を発展させたモデルが今年7月に発表されました。それがGPT3です。OpenAIはサービスの一般公開は行わず、一部の研究者にのみベータ版を公開するにとどめています。

文章の書き出しを与えると、残りの文章を完成させることができるようになっています。

GPT2とGPT3の違いは、生成できる文章の種類です。言語の範疇に入るものとして、話し言葉書き言葉だけでなく、HTMLのタグやPython, JAVAなどのソースコードも自動生成の対象となっています。

いくつか他の研究者によるデモを紹介させてください。

一つ目は、自然言語で記述したWebサイトのイメージからHTMLを生成するデモです。
2020-07-22-14-39-08_2020-07-22-16_07_50_747x484 ※外部サイト GPT-3 Design Hype :https://prototypr.io/post/gpt-3-design-hype/

二つ目は、やりたいことを文で書くと、Pythonのソースコードを自動生成するデモです。

du-51ba3c3999cc5a13de8653b4b60080ba_600x337
※外部サイト GPT-3 concrete examples of what it can do:https://wt.social/post/artificial-intelligence/i8kuywb5333330344819


・新たな課題と脅威
 GPT3は、学習のため1,750億個のパラメータを必要とする巨大なモデルです。作成・運用するコストがあまりにも大きすぎるため、ごく一部の企業や研究機関以外にとっては扱いにくいのが課題です。性能面においても、特定のタスクに特化した小さなモデルの方がよい場合も多くあり、こうした小さなモデルにGPT3で提示されたアイデアを取り込んでいく方向へ研究が進むと考えています。

GPT3において、性別や人種などの公平性を検証した結果、いくつかの偏見が含まれていることが報告されています(*1)。女性という単語から生成される文章には「綺麗」という表現が含まれやすい、特定の人種に対してはネガティブな表現が含まれやすい傾向にあります。これは、学習元となっているWeb上のコーパスに、偏りや偏見が含まれているためだと推測されます。悪意ある文章をSNSなどで公開され、それらがAIの学習に使われるとすると、それらの悪意をAIが無意識に実行してしまうことになります。

AIのデータに対する攻撃は、データセットポイズニングと呼ばれるようになりました。学習のために集めたデータの中に、偏見や差別といった意図しないデータが紛れていないか、また、改変されていないか、注意して守っていく必要があります。
※外部サイト (*1) 「Language Models are Few-Shot Learners」:https://arxiv.org/abs/2005.14165

・最新の技術を理解するときに大切なこと

最新の技術を理解するときに感じる大切なことを、伝えさせてください。下の図は、BERTのアルゴリズムを簡単に説明した図です。

20201217コラム3_567x238

BERTはbidirectional Transformer(双方向トランスフォーマー)を使用しています。GPTは左から右へのTransformerを使用します。ELMoは、独立してトレーニングされた左から右および右から左のLSTMの連結を使用して、ダウンストリームタスクの機能を生成します。 3つのうち、BERT表現のみがすべてのレイヤーで左右両方のコンテキストを条件として共有します。
※外部サイト BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding:https://arxiv.org/pdf/1810.04805.pdf

ここで登場するLSTM、Transformer、は、古典的なAIのモデルです。このTransformerの中ではAttentionという有名な仕組みが使われています。最新のBERTやGPTを理解するためには、基礎となっているTransformerを理解する必要があり、Transformerを理解するには、Attentionなどの、さらに基本的な技術を理解する必要があります。 

最新技術を理解するためには、その基礎となる技術を理解する必要があります。複雑な技術も、簡単な技術の組み合わせや応用であることが多く、人工知能に限った話ではないと感じます。

AIの研究開発には、その目的(業務知識)、情報の正しい理解(データサイエンス)、データの扱い(データベース、セキュリティ)、システムの構築(ハードウエア、ネットワーク)など、総合力が必要だと切に感じます。大半を占める少人数の研究チームであればなおさらではないでしょうか。任されてきた一つ一つの仕事を、基礎から理解する重要性をあらためて意識しました。

・AIの資格と基礎知識の学び方

20201217コラム4_156x152 AIの資格のひとつにEXIN AI Foundationがあります。ベンダーに依存しない資格とスキルアセスメントを提供している国際的な試験機関のEXINが、EXIN BCS Artificial Intelligence(AI) Foundation資格を日本でも展開し、日本語試験を2020年9月1日よりリリースしました。

これに合わせ、DXコンサルティング社で、日本初のEXIN BCS Artificial Intelligence Foundation認定プログラムを実施することになりました。ここでは、AIの基礎知識や研究者間で共有されている文化・倫理などについて知ることができます。AIを学ぶ最初こそ間違った知識を覚えて誤った道に進まないような注意が必要だと思います。


【参考】※外部サイト
EXIN AI Foundation資格試験の紹介:https://www.exin.com/certifications/exin-bcs-artificial-intelligence-foundation-exam

認定研修の案内URL:https://www.dx-consul.co.jp/business/AI_kenshu/AI_Foundation.html 



当サイトの内容、テキスト、画像等の転載・転記・使用する場合は問い合わせよりご連絡下さい。

エバンジェリストによるコラムやセミナー情報、
IDグループからのお知らせなどをメルマガでお届けしています。

メルマガ登録ボタン

玉越 元啓

株式会社インフォメーション・ディベロプメント フェロー

この執筆者の記事一覧

関連するナレッジ・コラム

地味に見えて優秀!マネージドプレフィックスリストでアドレス管理を効率化

DockerでJupyterLabの環境を作ろう

残された攻撃の痕跡を追え! ~Post-Exploitationで起きていること~