{Concepts}

設計理念/

Concepts

目的

期望能連結人工智慧的各項技術，搭配獨有的創意發想，帶給顧客不只有趣，也更便利的使用者體驗。

管理人員利用影像識別，實現自動化衛生控管，並透過深度學習來預測原物料的價格，藉此控制營運成本。

/

LINE BOT、自動帶位、整體風格設計

LINE BOT設計-動機

• 透過LINE BOT，讓使用者以充滿趣味的方式來預約訂位。
• 使用者可隨時查詢以及取消訂位。
• 另一方面也為店家節省了電話預約的人事成本。

LINE BOT設計/

預約流程圖

LINE BOT設計/

LINE BOT設計/

LINE BOT設計/

程式架構

LINE BOT設計/

Demo

自動帶位系統-動機

• 在一般的餐廳，前來用餐的顧客都需要等待店員帶位。為了避免顧客久候，我們設計了自動帶位系統。
• 只需站在攝影機前幾秒鐘，系統便為顧客自動分配到相對應的桌號，不僅顧客體驗更佳，店家也節省了人事開銷。

自動帶位系統/

概念

• 串聯了OpenCV、Python、MySQL、Django等技術。
• 計算臉部辨識攝影機視角內的人數，以此做為判斷店內帶位的依據。
• 可在網頁瀏覽器即時看到座位使用情況。

自動帶位系統/

程式架構

gTTS

自動帶位系統/

webcam

攝影機辨識人數後，自動為客人分配座位

Demo

自動帶位系統/

人數辨識(獨自一人)/

人數辨識(四人用餐)/

人數辨識(無法辨識)/

概念

• 網站包含咖啡廳特色介紹、餐點品項、店址、聯絡方式等等。
• 製作即時顯示店內的座位的頁面，讓客人清楚看見座位的使用情況。

網站設計/

/

語音點餐、AI拉花秀、客評分析

• 來到浪漫的咖啡廳，若用LINE BOT點餐顯得較死板﹑故實做中文的語音點餐
• Amazon的Alexa、Google語音助理都可以開發英語點餐語音bot，但中文尚無支援
• 我們利用Python的gtts、speech_recognition兩個套件，自行建構簡單的語音點餐系統

語音點餐-動機

語音點餐/

使用技術

語音點餐/

Demo

語音點餐/

• AI咖啡廳就怕冷冰冰！我們利用深度學習中的CNN影像風格轉換，讓顧客體驗AI便利之餘，更能享受藝術與「人味」
• 輸入一張自拍照或風景照，經過VGG19模型抽取特徵，回傳一張咖啡拉花風格照片，供顧客收藏分享

AI拉花-動機

拉花照過來/

AI拉花-使用技術

拉花照過來/

特徵抽取範例

特徵抽取範例

特徵抽取原理

• AI咖啡廳最怕冷冰冰！我們利用深度學習中的CNN影像風格轉換，讓顧客體驗AI便利之餘，更能享受藝術與「人味」
• 輸入一張自拍照或風景照，經過VGG19模型抽取特徵，回傳一張咖啡拉花風格照片，供顧客收藏分享

特徵抽取範例

拉花照過來/

Cycle-GAN: 會更好嗎?

拉花照過來/

Cycle-GAN: 訓練10小時

拉花照過來/

• 相較CNN的特徵抽取，Cycle-GAN的對抗生成方式，使照片保留更多原本輪廓，但也少了藝術感
• VGG19為現成的深度模型，不用訓練，但等待特徵抽取(拉花)的時間長；Cycle-GAN模型需訓練時間長，但照片轉換(拉花)時間短

CNN 或 Cycle-GAN?

拉花照過來/

拉花照過來/

Demo

• 英文情緒辨識有不少現成API (Google, Amazon, MS...)，但中文情緒辨識資源較少
• 本組利用貝式分類演算法(機器學習)做出中文的情緒辨識​
• 根據客戶評論即時判斷客戶滿意／不滿意，做出及時回饋
• 同時深入分析顧客對咖啡廳哪個部分滿意／不滿意，寫進資料庫建檔，方便改進

中文情緒分析-動機

中文情緒辨識/

中文情緒辨識/

使用技術

• 蒐集資料：利用爬蟲爬下Trip Adviser的正/負評論，以供機器學習​​。
• 機器學習模型：實作簡單的貝式分類器。​​
• 訓練完成：連上LINE 聊天機器人，接收客人意見並丟出適當回應。

訓練步驟

中文情緒辨識/

中文情緒辨識/

正負評論蒐集-爬蟲

正評

719則

負評

775則

中文情緒辨識/

更大的資料集: SnowNLP 書評、飯店評、3c評

正評16548則

負評18576則

• Snownlp為一個中文斷詞、情緒分析套件，情緒分析演算法亦為貝式分類，訓練資料集龐大，分類準確度更高

中文情緒辨識/

SnowNLP 套件介紹

語音點餐

中文情緒辨識/

中文情緒辨識/

拉花及意見回饋機器人

• 將資料庫內的客戶滿意度調查串聯語音點餐系統，在顧客點餐同時做出推薦，這推薦系統是同步在變化的
• ​嘗試用其他演算法增加準確率​​

未來展望

中文情緒辨識/

送餐機器人/

送餐機器人/

• 送餐機器人，在既定路線利用道路跟隨運送餐點，且透過障礙物辨識閃避路徑上餐具。

服務

• 節省人力、減輕部分工作負擔。
• 利用深度學習機器人的特性，實現道路跟隨及避帳功能。

目的

送餐機器人/

程式架構

送餐機器人/

自走車組裝及安裝ubuntu在RPiG上

->跑道設計、影像校正

->道路辨識學習

->道路辨識與影像辨識整合

->道路辨識與影像辨識整合debug

    (提升道路及影像識別率)

進度流程表

送餐機器人/

送餐機器人/

送餐機器人/

送餐機器人/

• 利用送餐機器人，經由影像辨識確認餐點，再透過人臉辨識為顧客送達餐點。

服務

• 節省人力、減輕部分工作負擔。
• 利用機器人的特性，在出餐前重複確認餐點，避免送錯或忘記送餐點的窘境。

目的

利用webcam監視店內與廚房，實現自動化衛生控管。

衛生管理

衛生管理

使用物件辨識系統，如監控到有蟑螂老鼠等於咖啡店內出現，會自動拍攝照片並通知店家。

衛生管理

/

程式運作邏輯

衛生管理

/

程式運作邏輯

衛生管理

/

使用技術

衛生管理

/

DEMO

初版模型:1500張網路

搜尋老鼠照片

衛生管理

/

DEMO

二版模型:4500張網路蒐集

貓、狗、老鼠混和照片

衛生管理

/

DEMO

三版模型:530張自行拍攝照片

衛生管理

/

DEMO

四版模型:2682張自行拍攝，增加環境差異性照片。

衛生管理

/

咖啡詩人玩期貨/

「如果我不在家，就是在咖啡館；如果不是在咖啡館，就是在往咖啡館的路上」。 Peter Altenberg十九世紀奧地利詩人寫於維也納Cafe Central。

咖啡詩人玩期貨/

• LSTM+GRU架構文字前後連結關係，以古詩詞訓練建立詩詞創作模型。

• LSTM分別建立單變數與多變數時間序列預測模型，預測咖啡豆期貨價格。

設計構想

咖啡詩人

咖啡詩人玩期貨/

建模 - Tensorflow+KERAS+LSTM+GRU
訓練 - 古詩詞約500,000字
參數 - Epochs = 100 & Batch size = 512

咖啡詩人玩期貨/

建模 - Tensorflow+KERAS+LSTM
訓練 - 咖啡期貨、石油期貨、美元指數、恐慌指數。

序列 - 訓練 2000.01 ~ 2018.11 前85%

           預測 2000.01 ~ 2018.11 後15%

參數 - Epochs = 5 & Batch size = 50
成果 - 40-day forecasts & one-day forecast           

咖啡期貨

咖啡詩人玩期貨/

 Fig.1 One-variate (cof) 40-day forecasts

咖啡詩人玩期貨/

 Fig.2 Multi-variable (cof, wti, dxf, spv) 40-day forecasts

咖啡詩人玩期貨/

Fig.3 One-variable (cof) one-day forecast

咖啡詩人玩期貨/

Fig.4 Multi-variable (cof, wti, dxf, spv) one-day forecast

咖啡詩人玩期貨/

Fig.5 One-V (cof) one-day directional forecast

咖啡詩人玩期貨/

Fig.6 Multi-V(cof, wti, dxf, spv)

one-day directional forecast

咖啡詩人玩期貨/

咖啡詩人玩期貨/

{Team}

小組成員介紹/

Team

徐子越: LINE BOT、自動帶位、整體風格設計
毛鼎言: 語音點餐、AI拉花秀、客評分析
劉安昇: 自走車-道路辨識、障礙物辨識
許哲偉: 自走車-顧客臉部辨識
劉安華: 衛生管理
陳惠龍: 咖啡詩人、價格預測​