AI 概覽 之 GPT 篇

小社第一堂 25/09/30

講師 - Suzy

# PRESENTING CODE
  • 北資一六學術長
  • 二信 離前面最近的位置 但有事先DC找
  • 小羊蘇西（？
  • PY 及 AI 小社講師

Artificial Intelligence 人工智慧

# PRESENTING CODE

ChatGPT?

Gemini?

掃地機器人？

統治世界（？？

Artificial Intelligence 人工智慧

# PRESENTING CODE

ChatGPT?

Gemini?

掃地機器人？

統治世界（？？

1950s 

  • 圖靈：機器可以思考嗎？
  • 圖靈測試 （Turing Test）

1956 

  • 達特茅斯夏季人工智慧研究計畫
  • 開了一個月，使 AI 成為一個研究領域

1970 

  • AI 寒冬
  • 沒什麼人研究 AI 
  • 技術期待過高，落空

Artificial Intelligence 人工智慧

# PRESENTING CODE

1997

  • DeepBlue AI 打敗人類西洋棋棋王

1990s-2000s

  • 網路普及 -> 大數據資料產生
  • 硬體能力升級

2006

  • 發明深度學習 (Geoferry Hinton)

2017

  • Google Brain 發明「注意力機制」

2018

  • OpenAI 發布 GPT-1

Artificial Intelligence 人工智慧

# PRESENTING CODE

1997

  • DeepBlue AI 打敗人類西洋棋棋王

1990s-2000s

  • 網路普及 -> 大數據資料產生
  • 硬體能力升級

2006

  • 發明深度學習 (Geoferry Hinton)

2017

  • Google Brain 發明「注意力機制」

2018

  • OpenAI 發布 GPT-1

AGI (Artifical General Intelligence) - 在各方面能力和人類相似

ASI (Artifical Super Intelligence) - 在各方面能力顯著超越人類

⋯⋯

ANI

(Artificial Narrow Intelligence)

- 能執行特定功能

The Singularity 奇異點

# PRESENTING CODE

當機器智慧超過人工智慧（？

Machine Learning 機器學習

# PRESENTING CODE
  • 傳統的程式碼：一個指令一個動作
  • 機器學習：讓機器學習如何把一些資料轉換為另一些資料。

文字

圖片

中文

英文

例：

midjourney, nano banana

例：

google 翻譯

圖片

文字

例：

圖片辨識系統

其實就是讀入一些資料後，輸出一些有意義的資料，即使我們沒有預先明確指定好輸入的資料要對應到哪些輸出。

Machine Learning 機器學習

# PRESENTING CODE

線性迴歸是一個簡單的例子！

利用機器來尋找最合適的那條直線

＝尋找斜率及結局

＝尋找 x 軸和 y 軸的關聯。

x 軸：房子坪數

y 軸：房價

結果：

可以對該模型輸入一個 x 值（房子坪數），模型會輸出一個預測的y 值（房價）。

Auto-regression (AR):

過去預測未來

Machine Learning 機器學習

# PRESENTING CODE
  • 監督式學習：所有資料都被「標註」(label)，告訴機器相對應的值，以提供機器學習在輸出時判斷誤差使用。

 

  • 非監督式學習：所有資料都沒有標註，機器透過尋找資料的特徵，自己進行分類。

 

  • 強化式學習：我們不標註任何資料，但告訴它所採取的哪一步是正確、那一步是錯誤的，根據反饋的好壞，機器自行逐步修正、最終得到正確的結果。

 

  • 深度學習：神經網絡。（以後會教）

Large Language Models 大型語言模型

# PRESENTING CODE
  • 就是那種「可以講話」的 AI !
  • 如何把機器學習，套用到語言模型上？ 

Natural Langauge

Processing (NLP)

自然語言處理

  • 一種機器學習技術，讓電腦能夠解譯、操縱及理解人類語言。– Google

Large Language Models 大型語言模型

# PRESENTING CODE
  • 套用前面 Auto-Regression （自我迴歸）的概念，
  • 「用過去預測未來」

透過前一句話，預測下一個單字有可能是什麼

=> 不斷重複後，得到一個完整的文字段落

Large Language Models 大型語言模型

# PRESENTING CODE
  • 套用前面 Auto-Regression （自我迴歸）的概念，
  • 「用過去預測未來」

透過前一句話，預測下一個單字有可能是什麼

=> 不斷重複後，得到一個完整的文字段落

例：我是北一女中資訊

研習社

的

社員

N - gram model 

# PRESENTING CODE
  • 利用機率預測「下一個字可能是什麼」

STEP 1 取得一定量的文本資料（訓練素材）

STEP 2 給模型一段未完成的文字

STEP 3 模型找出，未完成文字的最後幾個字最有可能和哪個字一起出現

把那個字視為下一個字輸出，

並重複此過程直到達成完整文字段落為止。

N - gram model 

# PRESENTING CODE

我是北一女中的學生。

我是北一女中資訊研習社社員。

我是北一女中資訊研習社幹部。

我喜歡叫人工智慧幫我寫作業。

你是建國中學電子計算機研習社的幹部。

文本素材

未完成的文字段落

我

P (「我」之後接「是」的機率)
P (「我」之後接「喜歡」的機率)
= \frac {我是(3個)}{我後面接所有字 (4個)}= \frac {3}{4}
= \frac {我是(1個)}{我後面接所有字 (4個)}= \frac {1}{4}

N - gram model 

# PRESENTING CODE

我是北一女中的學生。

我是北一女中資訊研習社社員。

我是北一女中資訊研習社幹部。

我喜歡叫人工智慧幫我寫作業。

你是建國中學電子計算機研習社的幹部。

文本素材

未完成的文字段落

我是

P (「是」之後接「北一女中」的機率)
P (「是」之後接「建國中學」的機率)
= \frac {北一女中(3個)}{所有字 (4個)}= \frac {3}{4}
= \frac {建國中學(1個)}{所有字 (4個)}= \frac {1}{4}

N - gram model 

# PRESENTING CODE

我是北一女中的學生。

我是北一女中資訊研習社社員。

我是北一女中社團社幹部。

我喜歡叫人工智慧幫我寫作業。

你是建國中學電子計算機研習社幹部。

文本素材

完成的文字段落

我是北一女中資訊研習社幹部

N - gram model 

# PRESENTING CODE
  • N 代表把幾個字為一單位進行運算
  • 本例為 N=1 (monogram)
  • 經常使用的還有 N=2 (bigram), N=3 (trigram) 等

N - gram model 優點

N - gram model 缺點

  • 通常不會出現文法錯誤、不合語法的句子
  • 模型訓練過程簡單
  • 創作內容順暢但不知所云
  • 無法創作一個有邏輯、意義的文章段落

G

P

T

G

P

T

enerative

re-trained

ransformers

生成式

預先訓練好的

變換器

GPT

把文本切成一個一個的小單位，即 token。一個單位可以是一個詞彙或是一個字根。

1.

2.

把 token 換成數字，方便運算

3.

GPT 的核心技術

運算這些 token 數字

 

今天可能來不及講

下學期來機器學習小社

# CHAPTER 2

Tokenization

Word

Embedding

Transformer

Tokenization 

# PRESENTING CODE

把一段文字切成一個一個的 token

會依照語言而有不同的切割方式

例：「你好嗎」＝7 tokens, 「我很好」=6 tokens

Word Embedding

# PRESENTING CODE

把每個 token 配對到一串「向量」

向量簡單來說就是一串數字，可以在幾何空間中作表示

 

例：(2, 4) 是二維向量，可以視為 x 軸走 2 單位， y 軸走 4 單位

Word Embedding

# PRESENTING CODE

意思相近的詞在幾何空間中會有相關的意義。

Word Embedding

# PRESENTING CODE

意思相近的詞在幾何空間中會有相關的意義。

Word Embedding

# PRESENTING CODE

意思相近的詞在幾何空間中會有相關的意義。

Word Embedding

# PRESENTING CODE

意思相近的詞在幾何空間中會有相關的意義。

Transformer

# PRESENTING CODE

經過一系列複雜的數學運算（其實是矩陣運算），

得出下一個字最有可能是什麼。

Attention （注意力）

是 GPT 成功的關鍵技術，旨在找出個字詞間的關聯，以處理一字多義的現象。

實作嘗試

大神 Andrej Karpathy 自製的迷你莎士比亞GPT

連結在這裡：

https://colab.research.google.com/drive/1HVwXyzf7fleOtU4vmYJwqEIbhI59xSQv?usp=sharing

謝謝大家

想解鎖更多，歡迎參與接下來的 AI 小社和下學期的放學機器學習

 

順便去修一下 Python 的課啦