貧弱環境でもここまでやれる Local LLM

本書は、さまざまな制約から限られたリソースしか使えない環境下で LLM を使用するために私が半年ほどあがいた奮闘記です。
あれこれ調べた結果、ノート PC1 台あれば趣味用途であれば十分使えるというところまで漕ぎつけました。
本書が、同じような悩みを抱えている方の手に届く、あわよくばその悩みの解決に役立てば幸いです。

======================
目次

はじめに
第 1 章 貧弱環境での挑戦
1.1 世は空前の第 4 次 AI ブーム
1.2 富める者だけが勝つ世界？
1.3 ノート PC 1 台あれば大丈夫！
1.4 貧弱環境の強い味方「量子化」
第 2 章 基礎編
2.1 環境構築
2.1.1 量子化ライブラリ llama.cpp
2.1.2 モデルのダウンロード
コラム：量子化モデルの探し方
2.2 ライブラリの基本的な使い方
2.2.1 モデルロード
2.2.2 文生成
2.2.3 HuggingFace 上から直接モデルロードする
2.2.4 出力フォーマットを指定する
第 3 章 応用編
3.1 マルチターンチャット
3.1.1 マルチターンチャットとは
3.1.2 マルチターンチャットでできること
3.1.3 マルチターンチャットを使った実装方法
コラム：Python で UI を作るには
3.2 RAG
3.2.1 RAG とは
3.2.2 RAG でできること
3.2.3 RAG を使った実装方法
コラム：テキストの前処理テクニック
3.3 Function Calling
3.3.1 Function Calling とは
3.3.2 Function Calling でできること
3.3.3 Function Calling を使った実装方法
3.4 Vision & Language
3.4.1 VLM とは
3.4.2 LLaVA とは
3.4.3 VLM でできること
3.4.4 VLM を使った実装方法
コラム：Stable Diffusion との違いについて
第 4 章 活用シーンを広げる
4.1 GPTs がセルフホストできちゃう!?
4.2 ノーコードツール Dify をセルフホストする
4.3 LocalAI で LLM を API 化
4.4 LocalAI と Dify を連携する
4.5 ノーコードで AI アプリを作る
コラム：Copilot と Tracing
Appendix
A. 自分で量子化するには
B. パフォーマンス測定
あとがき