{RoboCafé}
智慧咖啡廳設計提案
"team 4":[
{"leader":"徐子越",
"mem1":"毛鼎言",
"mem2":"劉安昇",
"mem3":"許哲偉",
"mem4":"劉安華",
"mem5":"陳惠龍"}
]
{Concepts}
設計理念/
Concepts
目的
期望能連結人工智慧的各項技術,搭配獨有的創意發想,帶給顧客不只有趣,也更便利的使用者體驗。
管理人員利用影像識別,實現自動化衛生控管,並透過深度學習來預測原物料的價格,藉此控制營運成本。


{Features}
/
徐子越 18

LINE BOT、自動帶位、整體風格設計
LINE BOT設計-動機
- 透過LINE BOT,讓使用者以充滿趣味的方式來預約訂位。
- 使用者可隨時查詢以及取消訂位。
- 另一方面也為店家節省了電話預約的人事成本。
LINE BOT設計/
徐子越 18
預約流程圖

LINE BOT設計/
徐子越 18

LINE BOT設計/
徐子越 18
LINE BOT設計/
程式架構



徐子越 18







LINE BOT設計/
Demo
徐子越 18
自動帶位系統-動機
- 在一般的餐廳,前來用餐的顧客都需要等待店員帶位。為了避免顧客久候,我們設計了自動帶位系統。
- 只需站在攝影機前幾秒鐘,系統便為顧客自動分配到相對應的桌號,不僅顧客體驗更佳,店家也節省了人事開銷。
自動帶位系統/
徐子越 18
概念
- 串聯了OpenCV、Python、MySQL、Django等技術。
- 計算臉部辨識攝影機視角內的人數,以此做為判斷店內帶位的依據。
- 可在網頁瀏覽器即時看到座位使用情況。
自動帶位系統/
徐子越 18
程式架構









gTTS
自動帶位系統/
徐子越 18
webcam



攝影機辨識人數後,自動為客人分配座位
Demo
自動帶位系統/
徐子越 18
人數辨識(獨自一人)/
徐子越 18
人數辨識(四人用餐)/
徐子越 18
人數辨識(無法辨識)/
徐子越 18
概念
- 網站包含咖啡廳特色介紹、餐點品項、店址、聯絡方式等等。
- 製作即時顯示店內的座位的頁面,讓客人清楚看見座位的使用情況。
網站設計/
徐子越 18

/
語音點餐、AI拉花秀、客評分析
毛鼎言 12
- 來到浪漫的咖啡廳,若用LINE BOT點餐顯得較死板﹑故實做中文的語音點餐
- Amazon的Alexa、Google語音助理都可以開發英語點餐語音bot,但中文尚無支援
- 我們利用Python的gtts、speech_recognition兩個套件,自行建構簡單的語音點餐系統
語音點餐-動機
語音點餐/
毛鼎言 12
使用技術
語音點餐/




毛鼎言 12
Demo
語音點餐/
毛鼎言 12
- AI咖啡廳就怕冷冰冰!我們利用深度學習中的CNN影像風格轉換,讓顧客體驗AI便利之餘,更能享受藝術與「人味」
- 輸入一張自拍照或風景照,經過VGG19模型抽取特徵,回傳一張咖啡拉花風格照片,供顧客收藏分享
AI拉花-動機
拉花照過來/
毛鼎言 12
AI拉花-使用技術
拉花照過來/




毛鼎言 12
特徵抽取範例



特徵抽取範例



特徵抽取原理

- AI咖啡廳最怕冷冰冰!我們利用深度學習中的CNN影像風格轉換,讓顧客體驗AI便利之餘,更能享受藝術與「人味」
- 輸入一張自拍照或風景照,經過VGG19模型抽取特徵,回傳一張咖啡拉花風格照片,供顧客收藏分享

特徵抽取範例
拉花照過來/
毛鼎言 12

Cycle-GAN: 會更好嗎?
拉花照過來/
毛鼎言 12



Cycle-GAN: 訓練10小時
拉花照過來/
毛鼎言 12
- 相較CNN的特徵抽取,Cycle-GAN的對抗生成方式,使照片保留更多原本輪廓,但也少了藝術感
- VGG19為現成的深度模型,不用訓練,但等待特徵抽取(拉花)的時間長;Cycle-GAN模型需訓練時間長,但照片轉換(拉花)時間短
CNN 或 Cycle-GAN?
拉花照過來/
毛鼎言 12
拉花照過來/
毛鼎言 12
Demo
- 英文情緒辨識有不少現成API (Google, Amazon, MS...),但中文情緒辨識資源較少
- 本組利用貝式分類演算法(機器學習)做出中文的情緒辨識
- 根據客戶評論即時判斷客戶滿意/不滿意,做出及時回饋
- 同時深入分析顧客對咖啡廳哪個部分滿意/不滿意,寫進資料庫建檔,方便改進
中文情緒分析-動機
中文情緒辨識/
毛鼎言 12
中文情緒辨識/






使用技術

毛鼎言 12
- 蒐集資料:利用爬蟲爬下Trip Adviser的正/負評論,以供機器學習。
- 機器學習模型:實作簡單的貝式分類器。
- 訓練完成:連上LINE 聊天機器人,接收客人意見並丟出適當回應。
訓練步驟
中文情緒辨識/
毛鼎言 12
中文情緒辨識/



正負評論蒐集-爬蟲
正評
719則
負評
775則
毛鼎言 12
中文情緒辨識/


更大的資料集: SnowNLP 書評、飯店評、3c評
正評16548則
負評18576則
毛鼎言 12
- Snownlp為一個中文斷詞、情緒分析套件,情緒分析演算法亦為貝式分類,訓練資料集龐大,分類準確度更高
中文情緒辨識/
SnowNLP 套件介紹
毛鼎言 12
語音點餐
中文情緒辨識/
毛鼎言 12
中文情緒辨識/
拉花及意見回饋機器人
毛鼎言 12
- 將資料庫內的客戶滿意度調查串聯語音點餐系統,在顧客點餐同時做出推薦,這推薦系統是同步在變化的
- 嘗試用其他演算法增加準確率
未來展望
中文情緒辨識/
毛鼎言 12



送餐機器人/
劉安昇 05
送餐機器人/
- 送餐機器人,在既定路線利用道路跟隨運送餐點,且透過障礙物辨識閃避路徑上餐具。
服務
- 節省人力、減輕部分工作負擔。
- 利用深度學習機器人的特性,實現道路跟隨及避帳功能。
目的
劉安昇 05
送餐機器人/
程式架構
劉安昇 05






送餐機器人/
自走車組裝及安裝ubuntu在RPiG上
->跑道設計、影像校正
->道路辨識學習
->道路辨識與影像辨識整合
->道路辨識與影像辨識整合debug
(提升道路及影像識別率)
進度流程表
劉安昇 05
送餐機器人/
劉安昇 05
送餐機器人/



劉安昇 05



送餐機器人/
許哲偉 26
送餐機器人/
- 利用送餐機器人,經由影像辨識確認餐點,再透過人臉辨識為顧客送達餐點。
服務
- 節省人力、減輕部分工作負擔。
- 利用機器人的特性,在出餐前重複確認餐點,避免送錯或忘記送餐點的窘境。
目的
許哲偉 26
利用webcam監視店內與廚房,實現自動化衛生控管。
衛生管理
衛生管理

使用物件辨識系統,如監控到有蟑螂老鼠等於咖啡店內出現,會自動拍攝照片並通知店家。
劉安華 06
衛生管理
/
程式運作邏輯




劉安華 06
衛生管理
/
程式運作邏輯







衛生管理
/
劉安華 06





使用技術
衛生管理
/
劉安華 06
DEMO
初版模型:1500張網路
搜尋老鼠照片
衛生管理
/
劉安華 06
DEMO
二版模型:4500張網路蒐集
貓、狗、老鼠混和照片
衛生管理
/
劉安華 06
DEMO
三版模型:530張自行拍攝照片
衛生管理
/
劉安華 06
DEMO
四版模型:2682張自行拍攝,增加環境差異性照片。
衛生管理
/
劉安華 06
咖啡詩人玩期貨/
「如果我不在家,就是在咖啡館;如果不是在咖啡館,就是在往咖啡館的路上」。 Peter Altenberg十九世紀奧地利詩人寫於維也納Cafe Central。

陳惠龍 20
- AI人工智慧
-
時間序列預測
咖啡詩人玩期貨/
- LSTM+GRU架構文字前後連結關係,以古詩詞訓練建立詩詞創作模型。
- LSTM分別建立單變數與多變數時間序列預測模型,預測咖啡豆期貨價格。
設計構想
陳惠龍 20
- AI人工智慧
-
時間序列預測
咖啡詩人
咖啡詩人玩期貨/
建模 - Tensorflow+KERAS+LSTM+GRU
訓練 - 古詩詞約500,000字
參數 - Epochs = 100 & Batch size = 512
陳惠龍 20
- AI人工智慧
-
時間序列預測
咖啡詩人玩期貨/





陳惠龍 20
- AI人工智慧
-
時間序列預測
建模 - Tensorflow+KERAS+LSTM
訓練 - 咖啡期貨、石油期貨、美元指數、恐慌指數。
序列 - 訓練 2000.01 ~ 2018.11 前85%
預測 2000.01 ~ 2018.11 後15%
參數 - Epochs = 5 & Batch size = 50
成果 - 40-day forecasts & one-day forecast
咖啡期貨
咖啡詩人玩期貨/
陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.1 One-variate (cof) 40-day forecasts
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.2 Multi-variable (cof, wti, dxf, spv) 40-day forecasts
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.3 One-variable (cof) one-day forecast
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.4 Multi-variable (cof, wti, dxf, spv) one-day forecast
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.5 One-V (cof) one-day directional forecast
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
Fig.6 Multi-V(cof, wti, dxf, spv)
one-day directional forecast
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
咖啡詩人玩期貨/

陳惠龍 20
- AI人工智慧
-
時間序列預測
{Team}
小組成員介紹/
Team
徐子越: LINE BOT、自動帶位、整體風格設計
毛鼎言: 語音點餐、AI拉花秀、客評分析
劉安昇: 自走車-道路辨識、障礙物辨識
許哲偉: 自走車-顧客臉部辨識
劉安華: 衛生管理
陳惠龍: 咖啡詩人、價格預測
{Thank you!}
請不吝指教,謝謝!
by-Team 4
RoboCafé/
Copy of RoboCafé - Final proposal - KenHsu
By Ken Hsu
Copy of RoboCafé - Final proposal - KenHsu
此為備用,要修改不要用這個版本
- 476