A Framework for Email Clustering and Automatic Answering Method

S0354034  廖元豪

S0354021林昱安

Abstract

• 現今生活中，email交流數量遽增，無法快速在時間內找到重要的email

• 論文以email的主旨、寄件者、內容、時間和大小為基礎來做叢集法，將email進行分類，並且加上自動回覆的功能。

INTRODUCTION

Email as a Database

• 將email的資訊做前處理存進資料庫
• email的寄件者、收件者、時間等等資訊都是資料庫中一筆資料的其中一個屬性

Email Mining

• 從email中找出有用資訊的過程
• 應用到以下的技術：
  • Data mining
  • Machine learning
  • Text mining

Clustering Email

• 以叢集法將email分類，並應用到Email Mining中
• 根據被分在同一群的email的共通點來為該群組命名

Algorithm

• 將資料進行前處理：
  • 將HTML標籤和標點符號去除
  • 將Stop words(I、am、and...)去除
• 找出相似的email
• 主要使用以下的演算法：

  • Brute-Force Algorithm

  • Cosine Similarity Matching Algorithm

  • K-means Algorithm for Clustering

Brute-Force Algorithm

• 用來去除stop words
• lookup table：存取單字原本的形式還有它的變化形式(Ex:過去式、完成式)
• 不可能存取所有的單字和其變化 -> Suffix-striping(詞綴提取)，用來去除單字的前後綴
• 變化較不規則的單字 -> 直接存入table

Cosine Similaryity Matching Algorithm

• 用來比對兩筆資料的相似度
• 算出的值介在1到-1之間，1為相似度最高 -1最低

K-means Algorithm Clustering

• 用來分割出群集
• formula(WCSS):

K-means Algorithm Clustering

Text

EXISTING OR RELATED WORK

Application

• 舉出一些現有實例，如辨識垃圾郵件，郵件分類等其他人的研究或實作成果
• message type:
  • unstructured
  • categorical
  • numeric data

PROPOSED WORK

Approach

• 可分開為4個步驟

  • pre-processing 
  • Key-word matching
  • clustering determination
  • automatic answering

Pre-Processing

• 用Brute-force algorithm 去除stop word
• 利用HTML parser去除HTML tag
• 分析過的資料可用來定義email的屬性

Keyword Matching

• 利用Cosine similarity matching algorithm 來作關鍵字的相似度比對，如比對成功則進行下一步clustering

Clustering determination

• 用 K-means algorithm 將相似的email分在同一個folder 
• 用啟發式搜尋法(heuristic rule searching)將郵件分類
• 依照使用者自己的法則來命名folder
• 範例:
  • if(sender=”John Smith” OR sender=”Mary Smith”) then (moveInto FAMILY)
  • if(body contains “call for papers”)      then{(moveInto CFP) (forwardTo “COLLEAGUES”)}

Automatic Answering

• 利用分類後的結果進行適當的回覆

IMPLEMENTATION

• 程式語言:java
• IDE:My Eclipse
• library:JFreeChart

EXPERMENTAL ANALYSIS

資料來源:Enron Email dataset 

分類結果:

表格

圖表

CONCLUSION AND FUTURE SCOPE

• 以上Email-Miniing 都基於文字分析
• 未來期望能加入其他方法來對郵件附件或圖片進行分析