{Concepts}

設計理念/

Concepts

目的

期望能連結人工智慧的各項技術，搭配獨有的創意發想，帶給顧客不只有趣，也更便利的使用者體驗。

管理人員利用影像識別，實現自動化衛生控管，並透過深度學習來預測原物料的價格，藉此控制營運成本。

/

LINE BOT、自動帶位、整體風格設計

LINE BOT設計-動機

• 透過LINE BOT，讓使用者以充滿趣味的方式來預約訂位。
• 使用者可隨時查詢以及取消訂位。
• 店家也節省了電話預約的人事成本。

LINE BOT設計/

預約流程圖

LINE BOT設計/

LINE BOT設計/

LINE BOT設計/

Demo

LINE BOT設計/

程式架構

自動帶位系統-動機

• 在一般的餐廳，前來用餐的顧客都需要等待店員帶位。為了避免顧客久候，我們設計了自動帶位系統。
• 只需站在攝影機前幾秒鐘，系統便為顧客自動分配到相對應的桌號，同時有語音提示，不僅顧客體驗更佳，店家也節省了人事開銷。

自動帶位系統/

概念

• 串聯了OpenCV、Python、MySQL、Django等技術。
• 計算臉部辨識攝影機視角內的人數，以此做為判斷店內帶位的依據。
• 可在網頁瀏覽器即時看到座位使用情況。

自動帶位系統/

Demo

自動帶位系統/

程式架構

gTTS

自動帶位系統/

webcam

讓我們歡迎下一位

毛鼎言

負責項目:

語音點餐、AI拉花秀、客評分析

人數辨識(獨自一人)/

人數辨識(四人用餐)/

人數辨識(無法辨識)/

概念

• 網站包含咖啡廳特色介紹、餐點品項、店址、聯絡方式等等。
• 製作即時顯示店內的座位的頁面，讓客人清楚看見座位的使用情況。

網站設計/

/

語音點餐、AI拉花秀、客評分析

• Amazon的Alexa、Google語音助理都可以開發英語點餐語音bot，但中文尚無支援。
• 我們利用Python的gtts、speech_recognition兩個套件，自行建構簡單的語音點餐系統。

語音點餐-if, else, for...

語音點餐/

使用技術

語音點餐/

Demo

語音點餐/

語音點餐/

gtts

speech_recognition

Our

Code

voice

text

AI拉花秀/

• AI咖啡廳就怕冷冰冰！我們利用深度學習中的CNN影像風格轉換，讓顧客體驗AI便利之餘，更能享受藝術與「人味」。
• 輸入一張自拍照或風景照，經過VGG19模型抽取特徵，回傳一張咖啡拉花風格照片，供顧客收藏分享。

AI拉花-深度學習

AI拉花秀/

AI拉花-使用技術

AI拉花秀/

AI拉花秀/

Demo

AI拉花秀/

Flask

Deep

Learning

Model

Imgur

特徵抽取範例

特徵抽取範例

特徵抽取原理

• AI咖啡廳最怕冷冰冰！我們利用深度學習中的CNN影像風格轉換，讓顧客體驗AI便利之餘，更能享受藝術與「人味」
• 輸入一張自拍照或風景照，經過VGG19模型抽取特徵，回傳一張咖啡拉花風格照片，供顧客收藏分享

特徵抽取範例   (1~5 由淺入深)

AI拉花秀/

1

2

3 

4 

5

Cycle-GAN會更好嗎 : 訓練10小時

AI拉花秀/

• 相較CNN的特徵抽取，Cycle-GAN的對抗生成方式，使照片保留更多原本輪廓，但也少了藝術感。
• VGG19為現成的深度模型，不用訓練，但等待特徵抽取(拉花)的時間長；Cycle-GAN模型需訓練時間長，但照片轉換(拉花)時間短。

CNN 或 Cycle-GAN?

AI拉花秀/

實際應用

AI拉花秀/

/

客評分析：中文情緒辨識

• 英文情緒辨識有不少現成API (Google, Amazon, MS...)，但中文情緒辨識資源較少。
• 本組利用貝式分類演算法(機器學習)做出中文的情緒辨識​。
• 根據客戶評論即時判斷客戶滿意／不滿意，做出及時回饋。
• 同時深入分析顧客對咖啡廳哪個部分滿意／不滿意，寫進資料庫建檔，方便改進。

中文情緒分析-機器學習

中文情緒辨識/

中文情緒辨識/

使用技術

Demo

語音點餐/

客評分析/

ML model

Flask

Machine

Learning

Model

客評分析/

正負評論蒐集-爬蟲

正評

719則

負評

775則

客評分析/

 SnowNLP資料集: 書評、飯店評、3c評

正評16548則

負評18576則

• 將資料庫內的客戶滿意度調查串聯語音點餐系統，在顧客點餐同時做出推薦，這推薦系統是同步在變化的。
• ​嘗試用其他演算法增加情緒辨識準確率​​。

未來展望

客評分析/

讓我們歡迎下一位

劉安昇

負責項目:

道路辨識、路障偵測

語音點餐

語音點餐/

中文情緒辨識/

拉花及意見回饋機器人

送餐自走車/

• 送餐自走車，在既定路線利用道路跟隨運送餐點，且透過障礙物辨識閃避路徑上餐具。

服務

• 節省人力、減輕部分工作負擔。
• 製造話題，提升來客率。

目的

送餐自走車/

硬體架構

image

道路辨識/

跑道設計

道路辨識/

使用技術

Duckietown

道路辨識/

道路辨識/

Duckietown使用ROS系統整和感知器訊號，經影像處理後，透過道路邊線邊緣偵測，達成道路辨識

Duckietown道路辨識

道路辨識/

Demo

道路辨識/

道路辨識/

Donkey架構

道路辨識/

使用技術

道路辨識/

Donkey 道路辨識

道路辨識/

道路辨識/

訓練流程

Data Collecting

Model Training

Model Testing

道路辨識/

Data Collecting

道路辨識/

Data Training

道路辨識/

Demo

道路辨識/

道路辨識/

為何選擇Donkey

障礙物閃避/

障礙物閃避/

障礙物閃避原理

障礙物閃避/

Data Collecting

障礙物閃避/

Data Training

障礙物閃避/

Demo

障礙物閃避/

送餐自走車/

未來展望

送餐自走車/

讓我們歡迎下一位

許哲偉

負責項目:

顧客臉部辨識、文字識別

送餐自走車/

送餐自走車/

• 提供人臉識別技術，偵測顧客是否在座位上，確認客人後送上餐點服務。
• 文字辨識與數字辨識技術，給顧客一個全新的體驗，只要舉起座號或是拿起告示牌(Robo)，送餐自走車就會停在你眼前。想要喝拉花後的咖啡，不再需要走到服務生面前。

服務

目的

• 提供咖啡店多元化服務，給顧客一個安靜的空間。
• 利用機器學習、深度學習與opencv實現在Rpi上的人臉辨識與文字、數字識別功能，以減輕服務員的辛勞。​

送餐自走車/

自走車組裝及安裝Raspbian在RPi上

->歷經Ducky car到Donkey car的過程

->資料收集及機器學習套件查詢

->人臉及文字與數字辨識學習(training)

->結合Rpi自走車

->實際debug與送餐應用

進度歷程

送餐自走車/

人臉辨識

Face_recognition

Raspberry pi

送餐自走車/

Deep Neural Networks (DNN)

Raspberry pi

Tesseract OCR

文字與數字影像識別

Demo

送餐自走車/

人臉識別

送餐自走車/

人臉識別

送餐自走車/

DNN模型

運用了opencv裡的

• dnn.blobFromImage  深度學習預訓練模型
• dnn.readNet神經網路

EAST文本檢測器API

實現自然場景下的文本檢測

Demo

送餐自走車/

文字與數字影像識別

送餐自走車/

文字影像識別

我們試著實作在現實場景如何框出並標示

{ Raspberry pi }這本書的書名。

Demo

送餐自走車/

送餐車辨識文字

送餐自走車/

未來展望

讓我們歡迎下一位

劉安華

負責項目:

衛生管理系統

送餐自走車/

利用webcam監視店內與廚房，實現自動化衛生控管。

衛生管理

衛生管理

使用TensorFlow Object Detection，如監控到有老鼠於咖啡店內出現，會自動拍攝照片並通知店家。

衛生管理

/

衛生管理

/

Demo

衛生管理

/

衛生管理

/

程式運作邏輯

程式運作邏輯

衛生管理

/

衛生管理

/

使用技術

衛生管理

/

資料蒐集

初版資料

使用google-images-download 和 Fatkun這兩個套件，透過更換關鍵詞的方式從Google上爬下了3000張各式老鼠照片進行訓練。

失敗模型初版:1500張網路搜尋老鼠照片

衛生管理

/

資料蒐集

失敗模型二版:4500張網路蒐集貓、狗、老鼠混合照片

衛生管理

/

資料蒐集

衛生管理

/

模型失敗原因

網路蒐集的照片資料多為近照、特寫照，將老鼠的肢體、臉、甚至鬍鬚都有拍攝出來。

資料蒐集

衛生管理

/

模型失敗原因

Webcam裝設位置多處於高處，從上到下30~45度角，而且距離較遠。

資料蒐集

衛生管理

/

更新資料

使用OpenCV拍攝道具老鼠影片，再透過OpenCV將影片每秒擷取10張圖片，當成訓練模型的資料。

資料蒐集

衛生管理

/

三版模型:1000張自行拍攝照片

資料蒐集

衛生管理

/

未來展望

衛生管理

/

讓我們歡迎下一位

陳惠龍

負責項目:

咖啡詩人、價格預測

咖啡詩人玩期貨/

「如果我不在家，就是在咖啡館；如果不是在咖啡館，就是在往咖啡館的路上」。 Peter Altenberg十九世紀奧地利詩人寫於維也納Cafe Central。

咖啡詩人玩期貨/

• LSTM+GRU架構文字前後連結關係，以古詩詞訓練建立詩詞創作模型。

• LSTM分別建立單變數與多變數時間序列預測模型，預測咖啡豆期貨價格。

設計構想

咖啡詩人

咖啡詩人玩期貨/

建模 - Tensorflow+KERAS+LSTM+GRU
訓練 - 古詩詞約500,000字
參數 - Epochs = 100 & Batch size = 512

咖啡詩人玩期貨/

建模 - Tensorflow+KERAS+LSTM
訓練 - 咖啡期貨、石油期貨、美元指數、恐慌指數。

序列 - 訓練 2000.01 ~ 2018.11 前85%

           預測 2000.01 ~ 2018.11 後15%

參數 - Epochs = 5 & Batch size = 50
成果 - 40-day forecasts & one-day forecast           

咖啡期貨

咖啡詩人玩期貨/

 Fig.1 One-variate (cof) 40-day forecasts

咖啡詩人玩期貨/

 Fig.2 Multi-variable (cof, wti, dxf, spv) 40-day forecasts

咖啡詩人玩期貨/

Fig.3 One-variable (cof) one-day forecast

咖啡詩人玩期貨/

Fig.4 Multi-variable (cof, wti, dxf, spv) one-day forecast

咖啡詩人玩期貨/

Fig.5 One-V (cof) one-day directional forecast

咖啡詩人玩期貨/

Fig.6 Multi-V(cof, wti, dxf, spv)

one-day directional forecast

咖啡詩人玩期貨/

咖啡詩人玩期貨/

{Team}

小組成員介紹/

Team

徐子越: LINE BOT、自動帶位、整體風格設計
毛鼎言: 語音點餐、AI拉花秀、客評分析
劉安昇: 送餐機器人-道路辨識、障礙物辨識
許哲偉: 送餐機器人-顧客臉部辨識、文字識別
劉安華: 衛生管理系統
陳惠龍: 咖啡詩人、價格預測​