Penut Chen (PenutChen)
I love oppai!
一刀殺進生成式 AI 的浪潮
七進七出語言模型的七路劍法
Penut Chen
AI 對我們的生活帶來巨大的改變
但具體而言有什麼樣的改變呢？
案例一：我媽有天拿了幾張經文跑來問我
- 能不能把上面的字打進電腦裡面？
- 有些內容她想修改
- 老了眼睛不好，想把字體放大
那份經文大概長這樣
而且不是一張兩張
有將近 20 張！！！
每張都手打，鬍子都白了
這時候 AI 技術派上用場了
利用 Google Docs 的 OCR 技術
幫我們這些做子女的省下許多時間
也能滿足長輩的心願
案例二：看遊戲攻略影片
- 有些攻略影片鋪陳很多
- 也許看過但是忘記在哪裡
- 整理一個筆記可以隨時參考
- 不用打到一半開始在時間軸上跳來跳去
Whisper 語音辨識登場
拯救我們這些連影片都懶得看的玩家
其實是不想吃廣告啦哈哈
詳細做法
- 用 YT-DLP & FFmpeg 下載與轉換音檔
- 用 Faster Whisper 生成逐字稿
- (Optional) 用 ChatGPT 產生摘要
現成套件兜一兜，掌握 AI 輕鬆自在
還是要記得點進影片幫原作者衝一下點閱率喔
改變生活最巨大的
非 ChatGPT 莫屬
每天 arXiv 上一堆論文
- 哪些論文值得一看？
- 能不能快速介紹該論文？
- 能不能深入介紹該論文？
- 有哪些相關的論文？
- 網路上有沒有關於該論文的討論？
這些事情 ChatGPT 幫我們一手包辦
詳細做法
或者 LINE 群組一堆 999+ 訊息
- 請 ChatGPT 幫你快速整理懶人包
AI Combo
用組合技打出成噸的傷害！
GPT-4V 與 DALL-E 做結合
達到類似 Img2Img 的效果
ChatGPT 不說
我都不知道我家的貓有白領巾
BTW 免費仔是沒有 DALL-E 可用的
GPT-4 + Suno AI
來唱歌囉！
Suno 是個音樂生成的 AI 服務
免費仔每天可以白嫖五首歌
可以先請 ChatGPT 生成歌詞
特殊領域應用
薯條喵喵喵 >ω<
貓貓塔羅
歡迎到 Discord 試用
只需要簡單的 Prompting
problem = "我能穿越到異世界開掛嗎"
name = "正向愚者"
related = "天真、單純、可能、流浪、自由、隨興、古怪、輕浮、妄想、浪費、瘋狂、無知。"
system_prompt = "你現在是一個專業的塔羅牌占卜師，而且你的身份是貓咪，所以你會使用很多「喵喵」做為句末助詞以及口頭禪。我會輸入一個問題，以及一張塔羅牌，你必須根據這張塔羅牌所代表的涵義，針對提出的問題給出詳細的解釋。在解釋問題時，請盡量往正面、積極的方向做解釋，並鼓勵對方。在這個過程中，你不能透露你是 AI，也不能透露你是語言模型，也不要提及你的身份，也不要向我要求更多訊息。解釋完之後要用「喵喵解牌完畢！」做結尾。請使用繁體中文。"
user_prompt = f"問題：{problem}\n塔羅牌：{name}\n相關詞：{related}\n解牌開始："再搭配塔羅牌跟可愛貓貓
月均 6000 筆處理
每個月的累積花費不到 5 美元
ChatGPT API 使 NLP 應用開發更輕鬆
- 容易串接
- 成本低廉
- 速度與品質兼具
最大的問題還是法規跟隱私
七進七出語言模型
針對特別領域落地化
模型選擇
- 語言選擇：中文應用 / 英文應用 / 日文應用 / 多語言混合應用
- Breeze & BreeXe, TAIDE, TwLlama, Yi, ...
- 模型尺寸：影響硬體成本、生成速度
- 效能評估：除了公開資料集，還要有目標應用的評估資料集
提示工程
權重微調
提示工程搞不定的生成問題
就要出動權重微調 (Finetuning)
低成本的微調 (e.g. LoRA) 沒有辦法帶來真正顯著的改變
高成本的訓練遙不可及 → 回歸模型選擇的步驟
檢索生成
向量檢索很熱門，推薦 BGE-M3
有時簡單的 BM25 關鍵字檢索也很有效果
Reranker 也是一種不錯的模型
用 LangChain 構築複雜的檢索應用
推薦 Ted Chen 大哥的 LangChain 鐵人賽系列文
推論部署
- 熱門框架：
- 速度評估：
- Prefill 初始輸入階段 (Time To First Token)
- Decode 後續生成階段 (Time Between Tokens)
- Throughput 同時多筆推論的吞吐量
量化壓縮
友善界面
七路劍法
模型選擇、提示工程、權重微調、檢索生成
推論部署、量化壓縮、友善介面
結論
- AI 已是解決問題的強力助手
- 而且 AI 會越來越強
- 但是 AI 不擅長規劃與反思
- 規劃問題是 AI 世代最關鍵的個人能力
AI
By Penut Chen (PenutChen)
