{RoboCafé}

 

智慧咖啡廳設計提案

"team 4":[

    {"leader":"徐子越",

     "mem1":"毛鼎言",

     "mem2":"劉安昇",

     "mem3":"許哲偉",

     "mem4":"劉安華",

     "mem5":"陳惠龍"}

​ ]

{Concepts}

 

設計理念

設計理念/


Concepts

 

目的

期望能利用人工智慧的各項技術，搭配上互動式的空間設計，帶給顧客有別於現有餐廳的使用者體驗。

 

管理人員能用更有效率的方式管控原物料的庫存，並透過演算法來預測原物料的價格，藉此控制成本。

流程簡介/

Concepts

 

{Features}

 

設計特色

&  ​進度規劃

中文情緒辨識/

 

Features

 

Features

 

  • 關於英文文本情緒辨識，已有人做了不少(Google, Amazon, MS...)，但中文文本情緒辨識做的人較少。​
  • 本組利用貝式分類演算法實作機器學習，做出中文的情緒辨識​。
  • 可利用在客戶意見分析，即時判斷客戶情緒，對滿意/不滿意的客人做出不同反應。

動機

中文情緒辨識/

 

Features

 

  • 蒐集資料：利用爬蟲爬下Trip Adviser的正/負評論，以供機器學習​​。
  • 機器學習模型：實作簡單的貝式分類器。​​
  • 訓練完成：連上LINE 聊天機器人，接收客人意見並丟出適當回應。

  

實作步驟

中文情緒辨識/

 

Features

 

爬蟲過程

中文情緒辨識/

 

Features

 

中文情緒辨識/

 

機器學習模型(貝氏分類器)

'use strict';
const
    bodyParser = require('body-parser'),
    config = require('config'),
    express = require('express'),
    request = require('request');

var app = express();
var port = process.env.PORT || process.env.port || 5000;
app.set('port',port);
app.use(bodyParser.json());
app.use(express.static('public'));

const SHEETDB_PRODUCTINFO_ID = config.get('productinfo_id');

// 主程式運作邏輯
app.post('/webhook',function(req,res){
    console.log("[WebHook] In");
    let data = req.body;
    let queryCategory = data.queryResult.parameters["Category"];
    var thisQs={};
    if(queryCategory=="熱門")
    {
        thisQs.IsHot = "True";
    }else
    {
        thisQs.Category = queryCategory;
    }
    thisQs.casesensitive = false;

    request({
        // uri:"https://sheetdb.io/api/v1/"+SHEETDB_PRODUCTINFO_ID,
        uri:"http://54.255.249.25/api/product/",
        json:true,
        // method:"PUT",
        method:"GET",
        headers:{"Content-Type":"application/json"},
        // qs:thisQs
        body:{"data":[thisQs]}
    // body:{"categoryname":lightStatus}
    },function(error,response,body) {
        if(!error && response.statusCode == 200){
            console.log(response.statusCode);
            console.log("[SheetDB API] Success");
            sendCards(body, res);
        }else{
            console.log(response.statusCode);
            console.log("[SheetDB API] failed");
        }
    });
});
app.listen(app.get('port'),function(){
    console.log("[app.listen] Node app is running on port", app.get('port'));
      });
module.exports = app;

function sendCards(body,res){
    console.log("[sendCarsoulCards] In");
    var thisFulfillmentMessages = [];

    for(var x=0; x<body.length; x++)
    {
        var thisObject={};
        thisObject.card={};
        thisObject.card.title=body[x].modelname;
        thisObject.card.subtitle=body[x].modelnumber;
        thisObject.card.imageUri=body[x].productimage;
        thisObject.card.buttons=[
            {
                "text":"看大圖",
                "postback":body[x].productimage,
            }
        ];
        thisFulfillmentMessages.push(thisObject);
        console.log(thisObject)
        var responseObject={
        fulfillmentMessages : thisFulfillmentMessages
        }
    }
    res.json(responseObject);
}

Features

 

中文情緒辨識/

 

測試結果

Features

 

  • 嘗試用word2vec做另一個語意分析機器模型，比較準確率​
  • ​嘗試用其他演算法增加準確率​​
  • 想出其他應用

代辦事項

中文情緒辨識/

 

預約bot及網站設計/

 

Features

 

概念

  • 讓使用者透過手機APP，以節省人力的方式來預約訂位。
  • APP可以讓使用者即時看見咖啡廳的預約情況，若該時段無空位則無法預訂。

預約流程

從資料庫get預約狀況資料，傳送給bot讓使用者看到。

->輸入完各項資料後post回資料庫

->查詢預約紀錄、取消預約以及再次預約其他日子

Features

 

預約bot/

 

Features

 

預約bot/

 

預約流程圖

Features

 

var restify = require('restify');
var builder = require('botbuilder');
var menu = require('./menuConfig.json')


//create web server
var server = restify.createServer();

server.listen(process.env.port||process.env.port||"3978",function(){
    console.log('$s listening to %s', server.name, server.url);
});

//create chat connector for communicating with the Bot Framework Service
var connector = new builder.ChatConnector({
    appId: process.env.MicrosoftAppId,
    appPassword: process.env.MicrosoftAppPassword
});

//listen for messages from users
server.post('/api/messages', connector.listen());

var bot = new builder.UniversalBot(connector, [
    //default dialog
    function(session){
        session.send("歡迎來到趣味小試題");
        session.beginDialog('booking');
    },
    // function(session, results){
    //     session.dialogData.orders = results.response;
    //     session.beginDialog('customer info');
    // },
    function(session, results){
        // var customer = session.dialogData.customer = results.response;
        var orders = session.dialogData.orders = results.response;
        // var checkinTaipeiZone = session.dialogData.orders.checkin.toLocaleString('en-us', {
        //     timeZone: 'Asia/Taipei'
        // });
        // var checkoutTaipeiZone = session.dialogData.orders.checkout.toLocaleString('en-us', {
        //     timeZone: 'Asia/Taipei'
        // });
        session.endDialog(
            `
            您的大名:${orders.name}<br />
            您的成績:<br />
            第一題答案:HTML，你的回答是:${orders.question1}<br />
            第二題答案:${orders.question2}<br />
            第三題答案:${orders.question3}<br />
            第四題答案:${orders.question4}<br />
            第五題答案:${orders.question5}<br />
            第六題答案:${orders.question6}<br />`
        );
    },
]);

bot.dialog('booking', [
    function(session){
        session.dialogData.orders = {}; //給一個初始化的值
    //     builder.Prompts.time(session, "請問您的入住時間? (例如: 明天下午5點)");
    // },
    // function(session, results){
    //     session.dialogData.orders.checkin = builder.EntityRecognizer.resolveTime([results.response]);
    //     builder.Prompts.time(session, "請問您的退房時間? (例如: 後天早上11點)");
    // },
    // function(session, results){
    //     session.dialogData.orders.checkout = builder.EntityRecognizer.resolveTime([results.response]);
        // session.endDialog(`退房時間:${dateTaipeiZone}`);
        builder.Prompts.text(session, "大大的名字?");
    },
    function(session, results){
        session.dialogData.orders.name = results.response;
        builder.Prompts.choice(session, "以下哪個是屬於前端的技術?", "HTML|Python|MySQL|Web Crawler(網路爬蟲)",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question1 = results.response.entity;
        if(session.dialogData.orders.question1 == "HTML"){
            session.send("答對囉!")
        }else{
            session.send("答錯囉! 答案是 HTML 才對")
        }
        builder.Prompts.choice(session, "想要顯示出'Hello World'的正確JavaScripts的語法是?", "print('Hello World')|response.write('Hello World')|document.write('Hello World')|對不起，這題我不會",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question2 = results.response.entity;
        if(session.dialogData.orders.question2 == "document.write('Hello World')"){
            session.send("答對囉!")
        }else if(session.dialogData.orders.question2 == "對不起，這題我不會"){
            session.send("沒關係! 不過答案是 document.write('Hello World') 才對喔")
        }
        else{
            session.send("答錯囉! 答案是 document.write('Hello World') 才對")
        }
        builder.Prompts.choice(session, "下面哪個是HTML5中出現的新出現的網頁元素?", "<hr>|<fieldset>|<pre>|<nav>",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question3 = results.response.entity;
        if(session.dialogData.orders.question3 == "<nav>"){
            session.send("答對囉!")
        }else{
            session.send("答錯囉! 答案是 <nav> 才對")
        }
        builder.Prompts.choice(session, "以下哪個平台'不是'使用webhook跟Dialogflow串連的?", "Facebook Messenger|LINE|Amazon Alexa|Microsoft Cortana",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question4 = results.response.entity;
        if(session.dialogData.orders.question4 == "Amazon Alexa"){
            session.send("答對囉!")
        }else{
            session.send("答錯囉! 答案是 Amazon Alexa 才對，因為Alexa是用import的方式跟Dialogflow串連的!")
        }
        builder.Prompts.choice(session, "請問以下幾位誰最帥?", "金城武|林俊傑|周杰倫|徐子越",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question5 = results.response.entity;
        if(session.dialogData.orders.question5 == "徐子越"){
            session.send("答對囉!你真有眼光!")
        }else{
            session.send("答錯囉! 答案是 徐子越 才對喔!")
        }
        builder.Prompts.choice(session, "你覺得這份測驗:", "太簡單，浪費我的時間|有點簡單，可以再難一點|難度適中，有些選項不太確定|太難啦，都忘光光啦",{listStyle: builder.ListStyle.button});
    },
    function(session, results){
        session.dialogData.orders.question6 = results.response.entity;
    
        session.endDialogWithResult({
            response: session.dialogData.orders
        });
    },
]);

預約bot/

 

Bot Framework 平台

Features

 

Bot Framework 平台

預約bot/

 

Features

 

'use strict';
const
    bodyParser = require('body-parser'),
    config = require('config'),
    express = require('express'),
    request = require('request');

var app = express();
var port = process.env.PORT || process.env.port || 5000;
app.set('port',port);
app.use(bodyParser.json());
app.use(express.static('public'));

const SHEETDB_PRODUCTINFO_ID = config.get('productinfo_id');

// 主程式運作邏輯
app.post('/webhook',function(req,res){
    console.log("[WebHook] In");
    let data = req.body;
    let queryCategory = data.queryResult.parameters["Category"];
    var thisQs={};
    if(queryCategory=="熱門")
    {
        thisQs.IsHot = "True";
    }else
    {
        thisQs.Category = queryCategory;
    }
    thisQs.casesensitive = false;

    request({
        // uri:"https://sheetdb.io/api/v1/"+SHEETDB_PRODUCTINFO_ID,
        uri:"http://54.255.249.25/api/product/",
        json:true,
        // method:"PUT",
        method:"GET",
        headers:{"Content-Type":"application/json"},
        // qs:thisQs
        body:{"data":[thisQs]}
    // body:{"categoryname":lightStatus}
    },function(error,response,body) {
        if(!error && response.statusCode == 200){
            console.log(response.statusCode);
            console.log("[SheetDB API] Success");
            sendCards(body, res);
        }else{
            console.log(response.statusCode);
            console.log("[SheetDB API] failed");
        }
    });
});
app.listen(app.get('port'),function(){
    console.log("[app.listen] Node app is running on port", app.get('port'));
      });
module.exports = app;

function sendCards(body,res){
    console.log("[sendCarsoulCards] In");
    var thisFulfillmentMessages = [];

    for(var x=0; x<body.length; x++)
    {
        var thisObject={};
        thisObject.card={};
        thisObject.card.title=body[x].modelname;
        thisObject.card.subtitle=body[x].modelnumber;
        thisObject.card.imageUri=body[x].productimage;
        thisObject.card.buttons=[
            {
                "text":"看大圖",
                "postback":body[x].productimage,
            }
        ];
        thisFulfillmentMessages.push(thisObject);
        console.log(thisObject)
        var responseObject={
        fulfillmentMessages : thisFulfillmentMessages
        }
    }
    res.json(responseObject);
}

預約bot/

 

Dialogflow + RestAPI

Features

 

Dialogflow + RestAPI

預約bot/

 

概念

  • 網站包含咖啡廳特色介紹、餐點品項、店址、聯絡方式等(簡易版)
  • 若有時間，另外會加入一頁Demo用的分頁，顯示店內的座位情況。

Features

 

網站設計/

 

概念

  • 使用opencv，透過webcam辨識攝影機視角內的人數，以此做為判斷店內帶位的依據(例如一組有3~4個客人，系統就會分配到4人座的區域，1~2人的話則為單獨座位或吧台區)
  • 店內的座位使用圖用瀏覽器的方式模擬。

Features

 

人數辨識/

 

概念圖

Features

 

人數辨識/

 

Features

 

送餐機器人/


送餐機器人/


Features

 

  • 利用送餐機器人，經由影像辨識確認餐點，再透過人臉辨識為顧客送達餐點。

服務

  • 節省人力、減輕部分工作負擔。
  • 利用機器人的特性，在出餐前重複確認餐點，避免送錯或忘記送餐點的窘境。

目的

送餐機器人/


Features

 

自走車組裝及安裝ubuntu在RPiG上

->跑道設計、影像校正

->道路辨識學習

->道路辨識與影像辨識整合

->道路辨識與影像辨識整合debug

    (提升道路及影像識別率)

進度流程表

送餐機器人/


Features

 

小鴨車的組裝以及在Rpi上安裝ubuntu，並解決樹莓派安裝ubuntu mate的bugs，接下來調校鏡頭及跑道設計。

目前進度

送餐機器人/


Features

 

目前進度

庫存管理與價格預測/


Features

 

Features

 

  • 原料的庫存管理，當庫存商品數量低於一定量會自動通知業主，並聯繫合作商家訂貨。
  • 原料的價格預測。

服務

目的

庫存管理與價格預測/


  • 透過庫存管理系統來檢視原物料的保存期限與存量。
  • 原物料(如咖啡豆)價格波動大，藉由價格預測來控制成本。

目的

Features

 

  • TensorFlow、MySQL、爬蟲

技術

  • 影響原物料的價格因素種類繁多(如政治、氣候、季節性...etc.)

困難

庫存管理與價格預測/


Features

 

系統架構與流程

物件辨識庫存管理/

 

Features

 

物體辨識實作

物件辨識庫存管理/

 

Features

 

利用webcam監視庫存區，使用物件辨識定時檢查庫存量，並記錄於資料庫。

庫存管理

衛生管理

物件辨識庫存管理/

 

同時也兼負著衛生管理的功能，如拍攝到有蟑螂老鼠進入庫存區，會自動拍攝照片並傳給店家。

Features

 

目前進度

價格預測/

 

VMware+Ubuntu+Node.js+Python+Opencv

平台串聯測試

Features

 

咖啡價格序列、氣象、股市...等資料前處理

-> 咖啡豆價格ML預測

​-> 咖啡豆價格DL預測

進度規劃

價格預測/

 

{Thank you!}

 

請不吝指教，謝謝!

by-Team 4

RoboCafé/

 

Made with Slides.com