サイトマップサイトマップ よくあるお問合わせよくあるお問合せ リクエストリクエスト セミナー会場セミナー会場へのアクセス
セミナーのメニュー
  ヘルスケア系
ライブ配信
1月
2月
3月
4月〜

化学・電気系 その他各分野
ライブ配信
1月
2月
3月
4月〜
出版物出版物
新刊図書新刊図書 月刊 化学物質管理Gmpeople
通信教育講座通信教育講座
LMS(e-learning)LMS(e-learning)
セミナー収録DVDDVD
電子書籍・学習ソフトDVD
セミナー講師のコラムです。講師コラム
  ↑2022/1/18更新!!
お申し込み・振込み要領お申込み・振込要領
案内登録案内登録
↑ ↑ ↑
新着セミナー、新刊図書情報をお届けします。

※リクエスト・お問合せ等
はこちら→ req@johokiko.co.jp



SSL GMOグローバルサインのサイトシール  



Zoom見逃し視聴あり

オンライン受講/見逃視聴なし → 

オンライン受講/見逃視聴あり → 


最新の自然言語処理技術に興味がある方に向けて、
Transformerモデルの動作原理を解説。BERTのソースコードを読み解く!

Transformerによる自然言語処理AI

〜BERTと文章生成モデルの動作原理をソースコードから読み解く〜

<Zoomによるオンラインセミナー:見逃し視聴あり>

講師

機械学習エンジニア 坂本俊之 先生

日時・会場・受講料

●日時 2022年3月28日(月) 12:30-16:30
●会場 会場での講義は行いません。
●受講料
  【オンラインセミナー(見逃し視聴なし)】:1名41,800円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき30,800円

  【オンラインセミナー(見逃し視聴あり)】:1名47,300円(税込(消費税10%)、資料付)
  *1社2名以上同時申込の場合、1名につき36,300円

      *学校法人割引;学生、教員のご参加は受講料50%割引。→「セミナー申込要領・手順」を確認下さい。

 ●録音・録画行為は固くお断り致します。


■ セミナーお申込手順からセミナー当日の主な流れ →

配布資料・講師への質問等について

●配布資料はPDF等のデータで送付予定です。受取方法はメールでご案内致します。
 (開催1週前〜前日までには送付致します)。
*準備の都合上、開催1営業日前の12:00までにお申し込みをお願い致します。
(土、日、祝日は営業日としてカウント致しません。)

●当日、可能な範囲で質疑応答も対応致します。
(全ての質問にお答えできない可能性もございますので、予めご容赦ください。)
●本講座で使用する資料や配信動画は著作物であり
 無断での録音・録画・複写・転載・配布・上映・販売等を禁止致します。
●受講に際しご質問・要望などございましたら、下記メールにてお問い合わせ下さい。 req@johokiko.co.jp

※本講座は、お手許のPCやタブレット等で受講できるオンラインセミナーです。

下記ご確認の上、お申込み下さい(クリックして展開「▼」:一部のブラウザーでは展開されて表示されます)
・PCもしくはタブレット・スマートフォンとネットワーク環境をご準備下さい。
・ご受講にあたり、環境の確認をお願いしております(20Mbbs以上の回線をご用意下さい)。
 各ご利用ツール別の、動作確認の上お申し込み下さい。
・開催が近くなりましたら、当日の流れ及び視聴用のURL等をメールにてご連絡致します。開催前日(営業日)の12:00までにメールが届かない場合は必ず弊社までご一報下さい。
・その他、受講に際してのご質問・要望などございましたら、下記メールにてお問い合わせ下さい。
 <req@johokiko.co.jp>

Zoom
Zoomを使用したオンラインセミナーとなります(クリックして展開「▼」)
・ご受講にあたり、環境の確認をお願いしております。
 お手数ですが下記公式サイトからZoomが問題なく使えるかどうか、ご確認下さい。
 → 確認はこちら
 *Skype/Teams/LINEなど別のミーティングアプリが起動していると、Zoomでカメラ・マイクが使えない事があります。お手数ですがこれらのツールはいったん閉じてお試し下さい。
 →音声が聞こえない場合の対処例

・Zoomアプリのインストール、Zoomへのサインアップをせずブラウザからの参加も可能です
 →参加方法はこちら
 →※一部のブラウザーは音声(音声参加ができない)が聞こえない場合があります、
   必ずテストサイトからチェック下さい。
   対応ブラウザーについて(公式);コンピューターのオーディオに参加に対応してないものは音声が聞こえません

見逃し視聴あり
申込み時に(見逃し視聴有り)を選択された方は、見逃し視聴が可能です。
(クリックして展開「▼」)
・原則、開催5営業日後に録画動画の配信を行います(一部、編集加工します)。
・視聴可能期間は配信開始から1週間です。
 セミナーを復習したい方、当日の受講が難しい方、期間内であれば動画を何度も視聴できます。
 尚、閲覧用URLはメールでご連絡致します。
 ※万一、見逃し視聴の提供ができなくなった場合、
 (見逃し視聴あり)の方の受講料は(見逃し視聴なし)の受講料に準じますので、ご了承下さい。

 →こちらから問題なく視聴できるかご確認下さい(テスト視聴動画へ)パスワード「123456」


セミナーポイント

■はじめに
自然言語処理の技術はニューラルネットワークの登場と共に大きく発展し、現在では「Transformer」と呼ばれるモデルを使用することが一般的になっています。本セミナーでは、Transformerの動作原理と、様々な種類があるTransformerモデルの特徴について解説します。また、セミナーの後半では、Transformerモデルの蓬矢となったBERT及び、文章生成モデルであるGPT2の動作を、実際のソースコードを読み解きながら解説します。

■想定される主な受講対象者
・最新の自然言語処理技術に興味がある技術者
・BERTのソースコードを読んでみたが挫折したプログラマー

■必要な予備知識
・Tensorflow等、ニューラルネットワークを扱うプログラムに、ある程度の知識がある
・Pythonプログラミングに、ある程度の知識がある
・前提として、形態素解析や日本語文章の分かち書きなどについて、ある程度の知識があることが望ましい

■本セミナーに参加して修得できること
・Transformerモデルの基本的な動作原理
・様々なTransformerモデルの種類とそれらの違いについて
・BERT及びGPT-2のソースコードレベルでの理解

セミナー内容

1.自然言語処理概論

 1.1.自然言語処理とは
 1.2.自然言語処理技術の推移
 1.3.Transformerモデルの登場
 1.4.BERTとその派生モデル
 1.5.その他のTransformerモデル
 1.6.巨大パラメーター時代

2.Transformerモデルの動作原理

 2.1.Transformerモデルの特徴
 2.2.Transformerにおけるテキストエンコード
 2.3.単語埋め込みベクトル
 2.4.位置埋め込みベクトル
 2.5.Self-Attention機構
 2.6.Transformerモデルの学習方法

3.BERTのソースコードを読み解く

 3.1.Tensorflow1系のコーディングスタイル
 3.2.BERTのモデルクラス
 3.3.Self-Attention関数
 3.4.Transformerの実装
 3.5.出力層の実装
 3.6.損失関数の実装

4.GPT-2のソースコードを読み解く

 4.1.Encoder-Decoderモデル
 4.2.入力コンテキスト長
 4.3.Encoderのステータス
 4.4.Dense関数とconv1d関数
 4.5.Top-K、Top-Pパラメーター
 4.6.文章生成ループ


講師紹介

【略歴】
ココン株式会社でAI戦略室室長としてグループ企業における人工知能システム開発を総轄する。
その後独立してフリーランスに。現在は人工知能システム開発におけるコンサルティングやPoC等を請け負う。

【専門】
機械学習プログラミング、人工知能システム開発、ITコンサルティング。

セミナー番号:AD220339

top

会社概要 プライバシーポリシー 通信販売法の定めによる表示 商標について リクルート
Copyright ©2011 情報機構 All Rights Reserved.