自然言語処理モデル BERT セミナー
サイトマップサイトマップ よくあるお問合わせよくあるお問合せ リクエストリクエスト セミナー会場セミナー会場へのアクセス
セミナーのメニュー
  ヘルスケア系
ライブ配信
5月
6月
7月
8月〜

化学・電気系 その他各分野
ライブ配信
5月
6月
7月
8月〜
出版物出版物
新刊図書新刊図書 月刊 化学物質管理Gmpeople
通信教育講座通信教育講座
LMS(e-learning)LMS(e-learning)
セミナー収録DVDDVD
電子書籍・学習ソフトDVD
セミナー講師のコラムです。講師コラム
  ↑2022/4/15更新!!
お申し込み・振込み要領お申込み・振込要領
案内登録案内登録
↑ ↑ ↑
新着セミナー、新刊図書情報をお届けします。

※リクエスト・お問合せ等
はこちら→ req@johokiko.co.jp



SSL GMOグローバルサインのサイトシール  



Zoom見逃し視聴あり

(オンライン)7月8日のみ参加(見逃視聴なし)→ 

(オンライン)7月8日のみ参加(見逃視聴あり)→ 


(オンライン)7月8日・7月22日 両日参加(見逃視聴なし)→ 

(オンライン)7月8日・7月22日 両日参加(見逃視聴あり)→ 

★現在、自然言語処理分野において中心的存在となっている BERT および各種発展モデルの利用法を、例を示しながらわかりやすく解説します。

自然言語処理モデル BERT 及びその発展形の

Transformer ベースの各種モデル

(BART、GPT-2、T5、GPT-3)の基礎と利用方法

<Zoomによるオンラインセミナー:見逃し視聴有>

講師

茨城大学 工学部 情報工学科 教授  新納 浩幸 先生

講師紹介

【ご略歴】
 1985年 東京工業大学理学部情報科学科卒業。
 1987年 同大学大学院理工学研究科情報科学専攻修士課程修了。
   同年 富士ゼロックス、翌年松下電器を経て、1993年茨城大学工学部助手。
 2015年 同学部教授。現在に至る。

【ご専門】
 自然言語処理、機械学習、統計学

【主な著書】
 『 Chainer v2 による実践深層学習 』 オーム社
 『 ニューラルネットワーク自作入門 (翻訳)』 マイナビ出版
 『 Rで学ぶクラスタ解析 』 オーム社
 『 数理統計学の基礎 』 森北出版


7月22日『画像認識の革新モデル ViT(Vision Transformer)の基礎とその利用法』とセットで受講が可能です。
講義内容はこちら→


日時・会場・受講料

●日時 2022年7月8日(金) 12:30-16:30
●会場 会場では行いません
●受講料
『自然言語処理モデルBERT(7月8日)』のみのお申込みの場合
  【オンラインセミナー(見逃し視聴なし)】:1名41,800円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき30,800円

  【オンラインセミナー(見逃し視聴あり)】:1名47,300円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき36,300円

『画像認識モデルViT(7月22日)』と合わせてお申込みの場合
 (同じ会社の違う方でも可。※二日目の参加者を備考欄に記載下さい。)
  【オンラインセミナー(見逃し視聴なし)】:1名61,600円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき50,600円⇒割引は全ての受講者が両日参加の場合に限ります

  【オンラインセミナー(見逃し視聴あり)】:1名72,600円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき61,600円⇒割引は全ての受講者が両日参加の場合に限ります

 *学校法人割引;学生、教員のご参加は受講料50%割引。→「セミナー申込要領・手順」を確認下さい。

 ●録音・録画行為は固くお断り致します。



■ セミナーお申込手順からセミナー当日の主な流れ →

配布資料・講師への質問等について

●配布資料は、印刷物を郵送で送付致します。
 お申込の際はお受け取り可能な住所をご記入ください。
 お申込みは4営業日前までを推奨します。
 それ以降でもお申込みはお受けしておりますが(開催1営業日前の12:00まで)、
 テキスト到着がセミナー後になる可能性がございます。


●当日、可能な範囲で質疑応答も対応致します。
(全ての質問にお答えできない可能性もございますので、予めご容赦ください。)
●本講座で使用する資料や配信動画は著作物であり
 無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。
●受講に際しご質問・要望などございましたら、下記メールにてお問い合わせ下さい。 req@johokiko.co.jp

※本講座は、お手許のPCやタブレット等で受講できるオンラインセミナーです。

下記ご確認の上、お申込み下さい(クリックして展開「▼」:一部のブラウザーでは展開されて表示されます)
・PCもしくはタブレット・スマートフォンとネットワーク環境をご準備下さい。
・ご受講にあたり、環境の確認をお願いしております(20Mbbs以上の回線をご用意下さい)。
 各ご利用ツール別の、動作確認の上お申し込み下さい。
・開催が近くなりましたら、当日の流れ及び視聴用のURL等をメールにてご連絡致します。開催前日(営業日)の12:00までにメールが届かない場合は必ず弊社までご一報下さい。
・その他、受講に際してのご質問・要望などございましたら、下記メールにてお問い合わせ下さい。
 <req@johokiko.co.jp>

Zoom
Zoomを使用したオンラインセミナーとなります(クリックして展開「▼」)
・ご受講にあたり、環境の確認をお願いしております。
 お手数ですが下記公式サイトからZoomが問題なく使えるかどうか、ご確認下さい。
 → 確認はこちら
 *Skype/Teams/LINEなど別のミーティングアプリが起動していると、Zoomでカメラ・マイクが使えない事があります。お手数ですがこれらのツールはいったん閉じてお試し下さい。
 →音声が聞こえない場合の対処例

・Zoomアプリのインストール、Zoomへのサインアップをせずブラウザからの参加も可能です
 →参加方法はこちら
 →※一部のブラウザーは音声(音声参加ができない)が聞こえない場合があります、
   必ずテストサイトからチェック下さい。
   対応ブラウザーについて(公式);コンピューターのオーディオに参加に対応してないものは音声が聞こえません

見逃し視聴あり
申込み時に(見逃し視聴有り)を選択された方は、見逃し視聴が可能です。
(クリックして展開「▼」)
・原則、開催5営業日後に録画動画の配信を行います(一部、編集加工します)。
・視聴可能期間は配信開始から1週間です。
(GWや年末年始・お盆期間等を挟む場合、それに応じて弊社の標準配信期間の設定を延長します。)
 セミナーを復習したい方、当日の受講が難しい方、期間内であれば動画を何度も視聴できます。
 尚、閲覧用URLはメールでご連絡致します。
 ※万一、見逃し視聴の提供ができなくなった場合、
 (見逃し視聴あり)の方の受講料は(見逃し視聴なし)の受講料に準じますので、ご了承下さい。

 →こちらから問題なく視聴できるかご確認下さい(テスト視聴動画へ)パスワード「123456」


セミナーポイント

 本講座は Transformer の代表的モデルである BERT の解説とその利用法及び構築法を中心に解説します。また BERT を生成系に発展させた BART や GPT-2、またより汎用なモデルに拡張した T5 や GPT-3 についても解説し、それらモデルの利用例を示します。
 Transformer は attention を利用して、ベクトルの集合をベクトルの集合に変換する機構であり、近年、言語処理や画像処理で活発に研究されています。そして Transformer の代表的なモデルが BERT であり、BERT の登場は、自然言語処理の解析方法を一変させました。その後の自然言語処理の研究は今日に至るまで BERT を中心に進められたと言えるでしょう。
 本講座ではまず BERT とは何であるかを解説した後に、文書分類と品詞タグ付けをタスクとして、どのように BERT を使うのかを説明します。また BERT をスクラッチから構築する方法や、対象領域のコーパスを利用して BERT を追加学習する方法も解説します。
 BERT は強力ですが、基本的には、分類タスクに利用されるもので、生成タスクに直接利用することはできません。BART や GPT-2 は生成タスクに利用できるようにBERT を発展させたモデルです。T5 や GPT-3 はより汎用的に利用できる Transformer の事前学習済みモデルです。現在では、日本語の T5 のモデルが公開されており、ここでは要約をタスクとしてT5 モデルの利用法を解説します。
 また GPT-3 は prompt programming という仕組みを利用して様々な問題を解くことができます。GPT-3 により何ができ、何ができないのかを解説します。また GPT-3 API によるモデルの利用例を示します。

○受講対象:
 ・BERT モデルを利用したい方
 ・自身のタスク向けに BERT モデルを構築したい方
 ・Transformer 系の技術に興味を持たれている方
 ・BART、T5、GPT-2 モデルを利用をしたい方
 ・GPT-3 に興味を持たれている方
 など

○受講後、習得できること:
 ・BERTの基礎知識
 ・BERTの利用方法
 ・BERTの構築方法
 ・BART、T5、GPT-2 モデルの利用方法
 ・GPT-3 の概要
など

セミナー内容

1. BERT の基礎
 BERT には何を入力して何が出力されるのか、そしてその出力を使って何ができるのかの大枠を示します。また BERT の処理の核となる Self-Attention の技術を系列変換と辞書構造の捉え方から説明します。BERT 層はSelf-Attention に様々な工夫を加えて構成された層です。この BERT 層についても解説します。
 1-1) BERT の入出力
 1-2) Self-Attention
 1-3) BERT 層


2. BERT の利用
 ここでは日本語 BERT モデルの具体的な利用例として文書分類を扱います。ライブラリとしてHuggingFace の transformers を利用して、BERT の fine-tuning と feature based の各々の処理方法を解説します。また実際に日本語 BERT を利用する際には Tokenizer の利用やバッチ処理の部分が問題になるので、その点も合わせて解説します。最後に応用的なタスクとして品詞タグ付けや2文入力タイプのタスクに対する BERT の利用方法も示します。

 2-1) HuggingFace の transformers
 2-2) Tokenizer
 2-3) fine-tuning
 2-4) feature based の利用
 2-5) バッチ処理
 2-6) 品詞タグ付け
 2-7) 2文入力タイプのタスク


3. BERT の構築
 既存の BERT モデルではなく、自身のタスクに特化した BERT モデルを利用したい場合も多いと思います。そのために BERT をスクラッチから構築する方法と、既存の BERT を初期値として更に自身のコーパスを使って追加学習する方法を解説します。

 3-1) 構築環境の準備
 3-2) スクラッチからの構築
 3-3) 追加学習


4. Transformer ベースの生成モデル
 BERT は基本的には分類タスクに対するもので、生成タスクに直接利用することはできません。BART は BERT を生成タスクにも利用できるように発展させたものです。また GPT-2 は Transformer をベースとしたテキスト生成モデルです。
 ここでは BART と GPT-2 の概要を解説します。また京都大学から日本語 BART モデル、そして rinna から日本語 GPT-2 モデルが公開されているので、それぞれのモデルの利用法を解説します。

 4-1) BART
 4-2) 日本語 BART モデルとその利用
 4-3) GPT-2
 4-4) 日本語 GPT-2 モデルとその利用

5. Transformer ベースの汎用モデル

 BERT は強力なモデルですが、下流のタスクの出力の形式に応じて学習方法が変わります。T5 は入出力をテキストにすることで様々なタスクに対応する汎用的な事前学習モデルです。HuggingFace に日本語の T5 モデルが公開されているので、ここでは要約タスクにモデルを利用してみます。
 また GPT-3 は Transformer ベースの生成モデルですが、Prompt Programming という仕組みを利用して様々な問題を解くことができます。ここでは GPT-3 の概要を解説します。また GPT-3 API によるモデルの利用例を示します。

 5-1) T5
 5-2) 日本語 T5 モデルとその利用
 5-3) GPT-3
 5-4) GPT-3 API の利用


  <質疑応答>

セミナー番号:AI2207B1

top

会社概要 プライバシーポリシー 通信販売法の定めによる表示 商標について リクルート
Copyright ©2011 技術セミナー・技術書籍の情報機構 All Rights Reserved.