自然言語処理 BERT セミナー

サイトマップサイトマップ よくあるお問合わせよくあるお問合せ リクエストリクエスト セミナー会場セミナー会場へのアクセス リンクリンク
セミナーのメニュー
  ヘルスケア系
ライブ配信
5月
6月
7月
8月〜

化学・電気系 その他各分野
ライブ配信
5月
6月
7月
8月〜
出版物出版物
新刊図書新刊図書 月刊 化学物質管理Gmpeople
通信教育講座通信教育講座
LMS(e-learning)LMS(e-learning)
セミナー収録DVDDVD
電子書籍・学習ソフトDVD
セミナー講師のコラムです。講師コラム
  ↑2020/5/15更新!!
お申し込み・振込み要領お申込み・振込要領
案内登録案内登録
↑ ↑ ↑
新着セミナー、新刊図書情報をお届けします。

※リクエスト・お問合せ等
はこちら→ req@johokiko.co.jp



SSL GMOグローバルサインのサイトシール  


自然言語処理 BERT セミナー

*ライブ配信(見逃し視聴有り)によるオンライン受講の申込も可能になりました!
 詳細は、下記をご確認下さい。


自然言語処理の分野に衝撃を与えた「BERT」とは?
 何ができるのか、簡単に利用するにはどうすればよいのか等、難解な BERTをやさしく理解!


※都合により、会場が変更となりました。詳しくは下記にてご確認下さい(2020/3/31)。

自然言語処理革新モデル

「BERT」基礎

Transformers for PyTorch を利用した

BERT 利用方法

講師

茨城大学 工学部 情報工学科 教授  新納 浩幸 先生

* 希望者は講師との名刺交換が可能です

講師紹介

【ご略歴】
 1985年 東京工業大学理学部情報科学科卒業。
 1987年 同大学大学院理工学研究科情報科学専攻修士課程修了。
   同年 富士ゼロックス、翌年松下電器を経て、1993年茨城大学工学部助手。
 2015年 同学部教授。現在に至る。

【ご専門】
 自然言語処理、機械学習、統計学

【主な著書】
 『 Chainer v2 による実践深層学習 』 オーム社
 『 ニューラルネットワーク自作入門 (翻訳)』 マイナビ出版
 『 Rで学ぶクラスタ解析 』 オーム社
 『 数理統計学の基礎 』 森北出版

→このセミナーを知人に紹介する

日時・会場・受講料

 ※都合により会場が変更となりました(2020/3/31)。

●日時 2020年5月22日(金) 10:30-16:30
●会場 [東京・王子]北とぴあ9階901会議室
      ↓
       [東京・浜松町]ビジョンセンター浜松町5階 Fルーム→「セミナー会場へのアクセス」
●受講料 1名47,300円(税込(消費税10%)、資料・昼食付)
 *1社2名以上同時申込の場合、1名につき36,300円
      *学校法人割引;学生、教員のご参加は受講料50%割引。→「セミナー申込要領・手順」を確認下さい。

 ●録音・撮影行為は固くお断り致します。
 ●講義中の携帯電話の使用はご遠慮下さい。
 ●講義中のパソコン使用は、講義の支障や他の方の迷惑となる場合がありますので、極力お控え下さい。
  場合により、使用をお断りすることがございますので、予めご了承下さい。
  *PC実習講座を除きます。


■ セミナーお申込手順からセミナー当日の主な流れ →

当講座はライブ配信によるオンライン受講の申込も可能なセミナーです!
 *見逃し視聴有り

会場からセミナーをライブ配信し、会場にお越しになれない方でもお手元のPCやスマートフォンで、オンライン受講いただけます。
また、オンライン受講者は、開催3営業日後から一定期間、見逃し視聴が可能です。

●オンライン受講料 1名47,300円(税込(消費税10%)、資料
 *申込〆切 開催日の3営業日前までにお申し込みください。
 *1社2名以上同時申込の場合、1名につき36,300円
 *学校法人割引;学生、教員のご参加は受講料50%割引。→「オンライン受講申込要領・手順」を確認下さい。

■ライブ配信(オンライン受講)で受講される場合の注意事項
お申し込み前に、以下のテスト視聴サイトで映像・音声に問題がないか必ず事前にご確認ください。
※テスト視聴サイト
https://deliveru.jp/pretest5/
ID livetest55
PW livetest55
受講者様の動作環境トラブルによる、当日の「閲覧できません」というご連絡には、対応はできかねますので、あらかじめご了承くださいますようお願い致します。

■推奨環境
動画配信は、株式会社ファシオ(http://www.vita-facio.jp/)の配信プラットフォーム「Deliveru」を利用しています。推奨環境・ご質問は下記URLをご参照ください。
◎推奨環境
https://deliveru.jp/faq/#Q7
◎よくあるご質問
https://deliveru.jp/faq/

■オンライン受講の申込みについて
オンライン受講の申込は開催日の3営業日前までに、インターネットまたはメール(req@johokiko.co.jp)にてお申し込みください。
*詳細は申込要領をご確認ください。

■禁止事項について
・本講座で使用される資料や配信動画は著作物であり、録音・録画・複写・転載・配布・上映・販売等を禁止いたします。
・視聴用ID/パスワードはお申し込みいただいた方のみご利用いただけます。複数端末から同時に視聴することやプロジェクタ等による複数人での視聴もいただけません。

■セミナー資料について
資料はPDF形式で視聴用サイトからダウンロードいただけます(原則、前日よりダウンロード可能)。

■開催当日
視聴用サイトにログイン → 開催時間になったら端末を更新し受講スタート

■見逃し視聴について
開催3営業日後から録画動画の配信を行います(一部、編集加工します)。
【配信期間】1週間 【視聴期間】視聴開始後 48時間
視聴用サイトにログインして、配信期間1週間の間に「開封」ボタンをクリックし、視聴を開始してください。
視聴期間内(視聴開始後48時間以内)は、動画を何度でも再生いただけますが、「開封」ボタンは1回のみクリック可能です。期間経過後の再生はできませんので、ご注意ください。

セミナーポイント

 2018年10月に Google が発表した事前学習モデル BERT は、自然言語処理の分野に大きな衝撃を与えました。BERT を利用することで様々な自然言語処理のタスクの精度が大きく改善されたからです。メディアにも大きく取り上げられ、読解タスクに関しては人間の読解力を超えたとまで言われました。
 その後Googleは、2019年10月にはBERTを検索エンジンに採用したと発表し、「過去最大のアップデート」と大きく報じられています。現在、自然言語処理で利用されるディープラーニング手法の中で、最も注目されている手法と言えます。
 それほど画期的なモデルである BERT ですが、なかなか利用できている人はいません。その原因としては、アルゴリズムが複雑で実際に何をやっているのかいまいちはっきりせず、また BERT のモデルを構築するには多大な計算機資源を必要とし、個人で専用のモデルを作ることも困難なこと等が挙げられます。
 さらに BERT の利用法としては、所望のタスク用に BERT を fine-tuning する利用が一般的ですが、 BERT のモデルは TensorFlow のモデルなので、使い勝手が悪いです。また、どうやって利用したら良いかわからないという意見も見受けられます。
 本講座の目的は「BERT とは何なのか」の大枠を理解し、「BERT を使えるようになる」ことです。HuggingFace の Transformers を利用すれば、 BERT を簡単に利用できるようになります。BERT のアルゴリズムは概要程度にし、結局、どういう入出力で、何ができるのか、そしてどうやって使えばよいのかを解説します。
 利用する BERT のモデルは東北大学で構築・公開された日本語 BERT の PyTorch 版のモデルです。HugginFace で公開されている transformers というBERT 系のモデルを簡単に利用できるライブラリを用います。また BERT の軽量化モデルである DistilBERT を紹介し、そのモデルの構築方法を解説します。DistilBERT は既存 BERT のパラメータを初期値として学習できるので、小さなコーパス、低コストの計算機環境であっても、自分専用の BERT モデルを構築できます。

○受講対象:
 ・BERT によって何ができるのかを知りたい方
 ・BERT の仕組みを理解したい方
 ・HuggingFace の transformers の使い方を知りたい方
 ・DistilBERT で専用の軽量版 BERT モデルを構築したい方

○受講後、習得できること:
 ・BERT とは何かが理解できます
 ・HuggingFace の transformers を利用して BERT を使うことができるようになります。
 ・DistilBERT を用いて軽量版 BERT モデルを構築できるようになります

セミナー内容

1. BERT の基礎
 BERT は Self-Attention を利用して、入力単語列を単語埋め込み表現列に変換します。各単語埋め込み表現が文脈に依存した埋め込み表現となっていることが、word2vec などから得られる単語埋め込み表現とは大きく異なります。ここではまず基本となる Self-Attention について解説します。Self-Attention では単語の位置の情報が消えてしまいますが、位置の情報を保持するために導入された Position Embedding を次に解説します。次に Self-Attention を発展させた Multi-Head-Attention という構造を解説します。BERT の学習にはタスクが必要ですが、BERT のタスクであるNext Sentence Prediction と Masked-Language Model を説明します。

 1.1 事前学習モデル
 1.2 BERT の入出力
 1.3 Self-Attention
 1.4 Position Embedding
 1.5 Multi-Head-Attention
 1.6 学習対象となるタスク


2 transformers の利用
 BERT モデルの構築プログラムは TensorFlow で書かれているために、公開されているモデルも TensorFlow のモデルです。そのため BERT モデルを利用するには基本的に TensorFlow を利用します。ただ TensorFlow は扱いづらく、Keras や PyTorch を利用できれば簡単です。HuggingFace は transformers という BERT を PyTorch で扱うためのライブラリを提供しており、これを使えば BERT を容易に利用することができます。ここでは、まず TensorFlow の BERT モデルを PyTorch の BERT モデルに変換する方法を示します。次に PyTorch の BERT モデルを使ったプログラム例を示します。

 2.1 transformers とは
 2.2 TensorFlow の BERT モデルを PyTorch の BERT モデルへ変換
 2.3 モデルの読み込み
 2.4 tokenizer の設定
 2.5 fine-tuning の方法
 2.6 プログラム例


3 DistilBERT
 BERT の欠点としてモデルの巨大さがあります。標準モデルであってもパラメータ数は約1億1千万個もあり、学習には多大な計算機資源を要します。また構築できたモデルを利用する場合でも、その処理は重たいです。このために BERT を軽量化する研究が進んでいます。DistilBERT はその1つです。基本的にディープラーニングの「蒸留」という手法を利用して軽量化を試みています。ここでは「蒸留」という手法を説明した後に、DistilBERT のモデルを説明します。また DistilBERT のモデルの構築には「蒸留」もとの BERT モデルを必要とし、そのモデルを使って DistilBERT のモデルの初期値を設定できます。この仕組みを使って、少量のコーパスから専用の軽量版 BERT モデルを構築する方法を解説します。

 3.1 蒸留
 3.2 DistilBERT のモデル
 3.3 DistilBERT の初期値設定
 3.4 DistilBERT の学習
 3.5 DistilBERT モデルの利用

4 BERT活用の具体例

 BERT は様々な自然言語処理のステムに利用できます。GLUE という自然言語処理システムのベンチマークデータセットがありますが、そこで提供されいてる中で SST-2(極性分析)とMNLI (含意関係認識)と SQuAD (質問応答)を紹介し、BERT を用いてどのように解くのかを示します。また BERT への入力は基本的に1文あるいは文のペアですが、文書を入力とした文書分類へも応用できます。文書の入力に対する手法を解説し、文書分類への BERT の利用法を示します。

 4.1 GLUE
 4.2 SST-2(極性分析)
 4.3 MNLI (含意関係認識)
 4.4 SQuAD (質問応答)
 4.5 文書分類


  <質疑応答>

セミナー番号:AC200568

top

注目の新刊

雑誌 月刊化学物質管理

化粧品処方

AIビジネス戦略

医薬品・医療機器包装規制

食品・化粧品包装規制

CSV文書作成例

オミクス解析

藻類ビジネス

データ・プライバシー

自然言語処理技術

新時代植物工場

分野別のメニュー

化学・電気系他分野別一覧

  植物工場他

  機械学習他

ヘルスケア系分野別一覧

  海外関連

  医療機器

各業界共通
マーケティング・人材教育等

「化学物質情報局」

特許・パテント一覧 INDEX
(日本弁理士会 継続研修)

印刷用申込フォーム    

セミナー用

書籍用

会社概要 プライバシーポリシー 通信販売法の定めによる表示 商標について リクルート
Copyright ©2011 情報機構 All Rights Reserved.