大規模言語モデル入門

「大規模言語モデル入門」（2023）と「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」（2024）のリポジトリです。

コード

コードはすべて Google Colaboratory で動作確認を行なっています。 コードの中で利用したデータセットや作成したモデルはHugging Face Hubにて公開しています。

⚠️ 2023/7/28 現在、MARC-ja のデータセットの配布元のリンクが切れており、書籍上の 5.2, 5.3, 5.5.4 に掲載されているコードにおいて、データセット読み込みの箇所でエラーが出る状態です。 現在問い合わせのメールを送り、復旧待機中です。

これに応じて、日本語感情分析データセットである WRIME を使用したノートブックを追加致しましたので、コードを動作させたい方はご活用ください。

章	節／項	Colab	Link
第 1 章 はじめに	1.1 transformers を使って自然言語処理を解いてみよう 1.2 transformers の基本的な使い方		Link
第 2 章 Transformer	2.2 エンコーダ		Link
第 3 章 大規模言語モデルの基礎	3.2 GPT（デコーダ） 3.3 BERT・RoBERTa（エンコーダ） 3.4 T5（エンコーダ・デコーダ）		Link
	3.6 トークナイゼーション		Link
第 5 章 大規模言語モデルのファインチューニング	5.2 感情分析モデルの実装		Link (MARC-ja) Link (WRIME)
	5.3 感情分析モデルのエラー分析		Link (MARC-ja) Link (WRIME)
	5.4.1 自然言語推論の実装（訓練）		Link
	5.4.1 自然言語推論の実装（分析）		Link
	5.4.2 意味的類似度計算の実装（訓練）		Link
	5.4.2 意味的類似度計算の実装（分析）		Link
	5.4.3 多肢選択式質問応答モデルの実装（訓練）		Link
	5.4.3 多肢選択式質問応答モデルの実装（分析）		Link
	5.5.4 LoRA チューニング（感情分析）		Link (MARC-ja) Link (WRIME)
第 6 章 固有表現認識	6.2 データセット・前処理・評価指標 6.3 固有表現認識モデルの実装 6.4 アノテーションツールを用いたデータセット構築		Link
第 7 章 要約生成	7.2 データセット 7.3 評価指標 7.4 見出し生成モデルの実装 7.5 多様な生成方法による見出し生成		Link
第 8 章 文埋め込み	8.3 文埋め込みモデルの実装		Link
	8.4 最近傍探索ライブラリ Faiss を使った検索		Link
第 9 章 質問応答	9.3 ChatGPT にクイズを答えさせる		Link
	9.4.3 BPR の実装		Link
	9.4.4 BPR によるパッセージの埋め込みの計算		Link
	9.5 文書検索モデルと ChatGPT を組み合わせる		Link
第 10 章 性能評価	10.2.2 llm-jp-evalで扱うタスク		Link
	10.2.3 llm-jp-evalで使用される評価指標		Link
	10.2.4 多肢選択式質問応答タスクによる自動評価		Link
	10.2.4 多肢選択式質問応答タスクによる自動評価（ツールを使用した評価）		Link
	10.3.2 Japanese Vicuna QA Benchmarkによる自動評価		Link
	10.3.2 Japanese Vicuna QA Benchmarkによる自動評価（ツールを使用した評価）		Link
第 11 章 指示チューニング	11.2 指示チューニングの実装		Link
	11.3 指示チューニングしたモデルの評価		Link
第 12 章 選好チューニング	12.2 選好チューニングの実装		Link
	12.3 選好チューニングの評価		Link
第 13 章 RAG	13.1 RAG とは		Link
	13.2 基本的な RAG のシステムの実装		Link
	13.3.1 AI 王データセットを用いた指示チューニング		Link
	13.3.2 指示チューニングしたモデルを LangChain で使う		Link
第 14 章 分散並列学習	14.3 LLMの分散並列学習		Link

正誤表

本書の正誤表は以下のページで公開しています。

• 「大規模言語モデル入門」正誤表
• 「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」正誤表

リンク

• Hugging Face Hub
• 「大規模言語モデル入門」の技術評論社のページ
• 「大規模言語モデル入門」のAmazon.co.jpのページ
• 「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」の技術評論社のページ
• 「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」のAmazon.co.jpのページ