{RoboCafé}

 

智慧咖啡廳設計提案

"team 4":[

    {"leader":"徐子越",

     "mem1":"毛鼎言",

     "mem2":"劉安昇",

     "mem3":"許哲偉",

     "mem4":"劉安華",

     "mem5":"陳惠龍"}

​ ]

{Concepts}

 

設計理念/


Concepts

 

目的

期望能連結人工智慧的各項技術,搭配獨有的創意發想,帶給顧客不只有趣,也更便利的使用者體驗。


管理人員利用影像識別,實現自動化衛生控管,並透過深度學習來預測原物料的價格,藉此控制營運成本。

{Features}

 

/

徐子越 18

LINE BOT、自動帶位、整體風格設計

LINE BOT設計-動機

  • 透過LINE BOT,讓使用者以充滿趣味的方式來預約訂位。
  • 使用者可隨時查詢以及取消訂位。
  • 另一方面也為店家節省了電話預約的人事成本。

LINE BOT設計/

 

徐子越 18

預約流程圖

LINE BOT設計/

 

徐子越 18

LINE BOT設計/

 

徐子越 18

LINE BOT設計/

程式架構

徐子越 18

LINE BOT設計/

 

Demo

徐子越 18

自動帶位系統-動機

  • 在一般的餐廳,前來用餐的顧客都需要等待店員帶位。為了避免顧客久候,我們設計了自動帶位系統。
  • 只需站在攝影機前幾秒鐘,系統便為顧客自動分配到相對應的桌號,不僅顧客體驗更佳,店家也節省了人事開銷。

自動帶位系統/

 

徐子越 18

概念

  • 串聯了OpenCV、Python、MySQL、Django等技術。
  • 計算臉部辨識攝影機視角內的人數,以此做為判斷店內帶位的依據。
  • 可在網頁瀏覽器即時看到座位使用情況。

自動帶位系統/

 

徐子越 18

程式架構

gTTS

自動帶位系統/

徐子越 18

webcam

攝影機辨識人數後,自動為客人分配座位

Demo

自動帶位系統/

 

徐子越 18

人數辨識(獨自一人)/

徐子越 18

人數辨識(四人用餐)/

徐子越 18

人數辨識(無法辨識)/

 

徐子越 18

概念

  • 網站包含咖啡廳特色介紹、餐點品項、店址、聯絡方式等等。
  • 製作即時顯示店內的座位的頁面,讓客人清楚看見座位的使用情況。

網站設計/

 

徐子越 18

/

語音點餐、AI拉花秀、客評分析

毛鼎言 12

  • 來到浪漫的咖啡廳,若用LINE BOT點餐顯得較死板﹑故實做中文的語音點餐
  • Amazon的Alexa、Google語音助理都可以開發英語點餐語音bot,但中文尚無支援
  • 我們利用Python的gtts、speech_recognition兩個套件,自行建構簡單的語音點餐系統

語音點餐-動機

語音點餐/

 

毛鼎言 12

使用技術

語音點餐/

 

毛鼎言 12

Demo

語音點餐/

 

毛鼎言 12

  • AI咖啡廳就怕冷冰冰!我們利用深度學習中的CNN影像風格轉換,讓顧客體驗AI便利之餘,更能享受藝術與「人味」
  • 輸入一張自拍照或風景照,經過VGG19模型抽取特徵,回傳一張咖啡拉花風格照片,供顧客收藏分享

AI拉花-動機

拉花照過來/

 

毛鼎言 12

AI拉花-使用技術

拉花照過來/

 

毛鼎言 12

特徵抽取範例

特徵抽取範例

特徵抽取原理

  • AI咖啡廳最怕冷冰冰!我們利用深度學習中的CNN影像風格轉換,讓顧客體驗AI便利之餘,更能享受藝術與「人味」
  • 輸入一張自拍照或風景照,經過VGG19模型抽取特徵,回傳一張咖啡拉花風格照片,供顧客收藏分享

特徵抽取範例

拉花照過來/

毛鼎言 12

Cycle-GAN: 會更好嗎?

拉花照過來/

毛鼎言 12

Cycle-GAN: 訓練10小時

拉花照過來/

毛鼎言 12

  • 相較CNN的特徵抽取,Cycle-GAN的對抗生成方式,使照片保留更多原本輪廓,但也少了藝術感
  • VGG19為現成的深度模型,不用訓練,但等待特徵抽取(拉花)的時間長;Cycle-GAN模型需訓練時間長,但照片轉換(拉花)時間短

CNN 或 Cycle-GAN?

拉花照過來/

毛鼎言 12

拉花照過來/

毛鼎言 12

Demo

  • 英文情緒辨識有不少現成API (Google, Amazon, MS...),但中文情緒辨識資源較少
  • 本組利用貝式分類演算法(機器學習)做出中文的情緒辨識​
  • 根據客戶評論即時判斷客戶滿意/不滿意,做出及時回饋
  • 同時深入分析顧客對咖啡廳哪個部分滿意/不滿意,寫進資料庫建檔,方便改進

中文情緒分析-動機

中文情緒辨識/

 

毛鼎言 12

中文情緒辨識/

使用技術

毛鼎言 12

  • 蒐集資料:利用爬蟲爬下Trip Adviser的正/負評論,以供機器學習​​。
  • 機器學習模型:實作簡單的貝式分類器。​
  • 訓練完成:連上LINE 聊天機器人,接收客人意見並丟出適當回應。

  

訓練步驟

中文情緒辨識/

 

毛鼎言 12

中文情緒辨識/

正負評論蒐集-爬蟲

正評

719則

 

負評

775則

 

毛鼎言 12

中文情緒辨識/

更大的資料集: SnowNLP 書評、飯店評、3c評

正評16548則

 

負評18576則

 

毛鼎言 12

  • Snownlp為一個中文斷詞、情緒分析套件,情緒分析演算法亦為貝式分類,訓練資料集龐大,分類準確度更高

  

中文情緒辨識/

 

SnowNLP 套件介紹

毛鼎言 12

語音點餐

中文情緒辨識/

 

毛鼎言 12

中文情緒辨識/

 

拉花及意見回饋機器人

毛鼎言 12

  • 將資料庫內的客戶滿意度調查串聯語音點餐系統,在顧客點餐同時做出推薦,這推薦系統是同步在變化的
  • ​嘗試用其他演算法增加準確率​​

未來展望

中文情緒辨識/

 

毛鼎言 12

送餐機器人/


劉安昇 05

送餐機器人/


  • 送餐機器人,在既定路線利用道路跟隨運送餐點,且透過障礙物辨識閃避路徑上餐具。

服務

  • 節省人力、減輕部分工作負擔。
  • 利用深度學習機器人的特性,實現道路跟隨及避帳功能。

目的

劉安昇 05

送餐機器人/


程式架構

劉安昇 05

送餐機器人/


自走車組裝及安裝ubuntu在RPiG上

->跑道設計、影像校正

->道路辨識學習

->道路辨識與影像辨識整合

->道路辨識與影像辨識整合debug

    (提升道路及影像識別率)

進度流程表

劉安昇 05

送餐機器人/


劉安昇 05

送餐機器人/


劉安昇 05

送餐機器人/


許哲偉 26

送餐機器人/


  • 利用送餐機器人,經由影像辨識確認餐點,再透過人臉辨識為顧客送達餐點。

服務

  • 節省人力、減輕部分工作負擔。
  • 利用機器人的特性,在出餐前重複確認餐點,避免送錯或忘記送餐點的窘境。

目的

許哲偉 26

利用webcam監視店內與廚房,實現自動化衛生控管。

衛生管理

衛生管理

使用物件辨識系統,如監控到有蟑螂老鼠等於咖啡店內出現,會自動拍攝照片並通知店家。

劉安華 06

衛生管理

/

程式運作邏輯

劉安華 06

衛生管理

/

程式運作邏輯

衛生管理

/

劉安華 06

使用技術

衛生管理

/

劉安華 06

DEMO

初版模型:1500張網路

搜尋老鼠照片

衛生管理

/

劉安華 06

DEMO

二版模型:4500張網路蒐集

貓、狗、老鼠混和照片

衛生管理

/

劉安華 06

DEMO

三版模型:530張自行拍攝照片

衛生管理

/

劉安華 06

DEMO

四版模型:2682張自行拍攝,增加環境差異性照片。

衛生管理

/

劉安華 06

咖啡詩人玩期貨/

「如果我不在家,就是在咖啡館;如果不是在咖啡館,就是在往咖啡館的路上」。 Peter Altenberg十九世紀奧地利詩人寫於維也納Cafe Central。

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

咖啡詩人玩期貨/

  • LSTM+GRU架構文字前後連結關係,以古詩詞訓練建立詩詞創作模型。
  • LSTM分別建立單變數與多變數時間序列預測模型,預測咖啡豆期貨價格。

設計構想

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

咖啡詩人

咖啡詩人玩期貨/

建模 - Tensorflow+KERAS+LSTM+GRU
訓練 - 古詩詞約500,000字
參數 - Epochs = 100 & Batch size = 512

 

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

建模 - Tensorflow+KERAS+LSTM
訓練 - 咖啡期貨、石油期貨、美元指數、恐慌指數。

序列 - 訓練 2000.01 ~ 2018.11 前85%

           預測 2000.01 ~ 2018.11 後15%

參數 - Epochs = 5 & Batch size = 50
成果 - 40-day forecasts & one-day forecast
           

咖啡期貨

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

 Fig.1 One-variate (cof) 40-day forecasts

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

 Fig.2 Multi-variable (cof, wti, dxf, spv) 40-day forecasts

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

Fig.3 One-variable (cof) one-day forecast

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

Fig.4 Multi-variable (cof, wti, dxf, spv) one-day forecast

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

Fig.5 One-V (cof) one-day directional forecast

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

Fig.6 Multi-V(cof, wti, dxf, spv)

one-day directional forecast

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

咖啡詩人玩期貨/

陳惠龍​ 20

  • AI人工智慧
  • 時間序列預測

{Team}

 

小組成員介紹/

 

Team

徐子越: LINE BOT、自動帶位、整體風格設計
毛鼎言: 語音點餐、AI拉花秀、客評分析
劉安昇: 自走車-道路辨識、障礙物辨識
許哲偉: 自走車-顧客臉部辨識
劉安華: 衛生管理
陳惠龍: 咖啡詩人、價格預測​

{Thank you!}

 

請不吝指教,謝謝!

by-Team 4

RoboCafé/

 

Copy of RoboCafé - Final proposal - KenHsu

By Ken Hsu

Copy of RoboCafé - Final proposal - KenHsu

此為備用,要修改不要用這個版本

  • 476