COM6004 Data Mining · Chapter 1

Introduction to Data Mining

COM6004 · Chapter 1 · Source: COM6004_Chapter_1_Introduction.pptx (35 slides) · Textbook: Tan, Steinbach, Karpatne, Kumar, Introduction to Data Mining 2nd ed.

Contents · 12 sections

🎯 本講重點 (Learning outcomes)

解釋點解今日需要 Data Mining（commercial viewpoint 同 scientific viewpoint）。
背得出 Data Mining 嘅兩個經典定義，以及佢源自邊幾個領域（machine learning/AI、pattern recognition、statistics、database systems）。
分辨 Prediction methods 同 Description methods，以及四大 Data Mining tasks：Predictive Modeling（Classification / Regression）、Clustering、Association Rules、Anomaly Detection。
每個 task 識講一個應用例子（fraud detection、churn prediction、market segmentation、document clustering、market-basket analysis…）。
列出 Data Mining 嘅技術挑戰（Scalability、High Dimensionality…）同社會挑戰（Privacy…）。

⭐ 考試必溫 Top-5

Data Mining 定義："Non-trivial extraction of implicit, previously unknown and potentially useful information from data"。
Prediction vs Description methods；四大 tasks 各屬邊類。
Classification vs Regression：target 係 categorical 定 continuous。
Clustering 目標：intra-cluster distances minimized、inter-cluster distances maximized。
六大 Challenges：Scalability、High Dimensionality、Heterogeneous & Complex Data、Data Quality、Data Ownership & Distribution、Non-traditional Analysis。

1. 點解要 Data Mining？(Why Data Mining)

Slide 4 嘅主題係 "Large-scale Data is Everywhere!"：因為 data generation 同 collection 技術進步，commercial 同 scientific databases 都出現爆炸式增長。例子包括 E-Commerce、Social Networking (Twitter)、Sensor Networks、Traffic Patterns、Cyber Security、Computational Simulations。

Slide 提出一個「新口號」(New mantra)：Gather whatever data you can whenever and wherever possible. 背後嘅期望 (Expectations)：收集返嚟嘅 data 將來會有價值——可能係為原本目的，亦可能係一個當初未諗到嘅目的 (a purpose not envisioned)。呢點好重要：Data Mining 好多時就係喺「為其他目的收集」嘅 data 入面搵新知識。

1.1 Commercial Viewpoint (Slide 5)

大量 data 被收集同儲存 (warehoused)：Web data（Google 有 petabytes 級 web data；Facebook 有 billions of active users）、百貨公司 / 超市 / e-commerce 購買紀錄（Amazon 每日處理 millions of visits）、Bank / Credit Card transactions。
電腦越嚟越平、越嚟越強，令分析大量 data 變得可行。
競爭壓力大：要提供更好、更 customized 嘅服務先有優勢，例如 Customer Relationship Management (CRM)。

1.2 Scientific Viewpoint (Slide 6)

Data 以極高速度收集同儲存：衛星 remote sensors（NASA EOSDIS 每年存 petabytes 級 earth science data）、望遠鏡 sky survey data、high-throughput biological data（gene expression）、scientific simulations（幾個鐘就產生 terabytes）。
Data Mining 幫科學家：(1) automated analysis of massive datasets；(2) hypothesis formation（由 data 提出假設，再用實驗驗證）。
Slide 圖片例子：fMRI Data from Brain、Sky Survey Data、Gene Expression Data、Surface Temperature of Earth。

1.3 機會 (Slides 7–8)

Slide 7「Great opportunities to improve productivity in all walks of life」主要係圖片。Slide 8 列出可以解決嘅社會大問題：改善 health care 同減低成本、尋找 alternative / green energy、預測 climate change 影響、透過提高農業產量減少飢餓同貧窮。

🖼️ 圖片內容

Slide 7 只有圖片（各行各業應用嘅插圖），文字擷取不到；請對照原 slide 第 7 頁。

2. 咩係 Data Mining？(Definition & Origins)

ExamSlide 9 列出兩個定義（"Many Definitions"），建議原文背：

⭐ 考試重點：Data Mining 定義

"Non-trivial extraction of implicit, previously unknown and potentially useful information from data."
"Exploration & analysis, by automatic or semi-automatic means, of large quantities of data in order to discover meaningful patterns."

關鍵字：non-trivial、implicit、previously unknown、potentially useful、automatic / semi-automatic、large quantities、meaningful patterns。

💡 直覺理解：咩唔算 Data Mining？

「Non-trivial」同「previously unknown」排除咗普通查詢。例如喺 database 用 SQL 查「張三嘅電話號碼」或者「上個月總銷售額」——答案係已知結構入面直接攞，唔係新發現，所以唔算 Data Mining。相反，發現「買尿片嘅人好可能同時買啤酒」就係由 data 中搵出隱藏 (implicit) 又有用嘅 pattern。

2.1 Origins of Data Mining (Slide 10)

Data Mining 吸收咗四個領域嘅 ideas：machine learning / AI、pattern recognition、statistics、database systems。點解唔直接用傳統技術？因為現代 data 係：

特徵	意思 / 對傳統方法嘅問題
Large-scale	Data 太大，傳統統計方法（例如要將全部 data 放入 memory）處理唔到。
High dimensional	Attributes 數以百計甚至千計（例如 gene expression），好多方法喺高維度失效。
Heterogeneous	多種類型 data 混合（數字、文字、圖片、graph）。
Complex	有結構嘅 data，例如 time series、spatial data、DNA sequence。
Distributed	Data 分散喺唔同地方 / 機構，唔可以簡單集中。

Slide 亦強調：Data Mining 係新興 data science and data-driven discovery 嘅關鍵組成部分。

🔗 跨科連繫

COM6002 Big Data Management 講嘅 4 V's（Volume、Velocity、Variety、Veracity）同呢度嘅 Large-scale / Heterogeneous / Distributed 幾乎一一對應；COM6005 Statistical Modeling 就係 Data Mining 嘅 "statistics" 根源。

3. Data Mining Tasks：Prediction vs Description

ExamSlide 11（出自 Fayyad et al., 1996）將 tasks 分兩大類：

	Prediction Methods	Description Methods
定義	Use some variables to predict unknown or future values of other variables.	Find human-interpretable patterns that describe the data.
有冇 target / label	有（例如 class attribute）— supervised	通常冇 — unsupervised
例子 tasks	Classification、Regression、（Anomaly Detection 常被歸入）	Clustering、Association Rules、（Anomaly Detection）

Slide 12 用一幅圖展示四大 tasks 圍繞住 Data：Predictive Modeling、Clustering、Association Rules、Anomaly Detection（圖中有 "Milk" 呢個 association 例子）。

🖼️ 圖片內容

Slide 12 嘅四大 tasks 示意圖（包括一個數據表同各 task 對應位置）係圖片，文字擷取不到；請對照原 slide 第 12 頁。

⭐ 考試重點：四大 tasks 一覽

Task	類別	一句定義	例子
Classification	Predictive	為 categorical class attribute 建 model	Fraud detection、churn prediction
Regression	Predictive	預測 continuous 值	由廣告開支預測銷售額
Clustering	Descriptive	將相似 objects 分組	Market segmentation、document clustering
Association Rules	Descriptive	搵 items 之間嘅 dependency rules	{Diaper, Milk} → {Beer}
Anomaly Detection	（兩者皆可）	搵同大部分 data 明顯唔同嘅 objects	Credit card fraud、network intrusion

4. Predictive Modeling: Classification

Slide 13 定義：Find a model for class attribute as a function of the values of other attributes. 例子係一個預測 credit worthiness（信貸可信度）嘅 model。

Slide 14 展示 Classification 嘅流程：一個 Training Set（有 categorical、categorical、quantitative attributes 同一個 class 欄）→ Learn Classifier → 得到 Model → 將 Model 應用落 Test Set（class 未知）去預測。

🖼️ 圖片內容

Slide 13–14 嘅數據表（credit worthiness 例子、training / test set 表格）係嵌入物件 / 圖片，擷取不到具體數值；請對照原 slide 第 13–14 頁。

💡 直覺理解：Training vs Test

想像你溫書：Training set 就係有答案嘅 past paper，你由佢學識規律（model）；Test set 就係真考試，你冇答案，要靠學到嘅規律作答。如果你只係「背晒 past paper 答案」（overfitting），去到真考試就會失手——呢個概念會喺 Chapter 4B 詳細講。

4.1 Examples of Classification Task (Slide 15)

將 credit card transactions 分類為 legitimate 或 fraudulent
用衛星 data 分類 land covers（water bodies、urban areas、forests…）
將新聞分類為 finance、weather、entertainment、sports 等
識別 cyberspace 入面嘅 intruders
預測 tumor cells 係 benign 定 malignant
將蛋白質 secondary structures 分類為 alpha-helix、beta-sheet 或 random coil

4.2 Application 1: Fraud Detection (Slide 16)

Goal：預測 credit card transactions 入面嘅 fraudulent cases。

Approach（留意步驟，呢個係典型 classification pipeline）：

用 credit card transactions 同 account-holder 資料做 attributes（幾時買、買咩、幾準時還款等）。
將過去嘅 transactions 標記為 fraud 或 fair → 呢個就係 class attribute。
為 transactions 嘅 class learn a model。
用呢個 model 觀察某 account 嘅 transactions 去 detect fraud。

4.3 Application 2: Churn Prediction (Slide 17)

Slide 標題係 "Churn prediction for telephone customers"，內容（出自 Berry & Linoff, 1997）：

Goal：透過鎖定「可能會買新手機產品」嘅客戶，減低郵寄 (mailing) 成本。

Approach：

用以前推出過嘅類似產品嘅 data——我哋知道邊啲客戶買咗、邊啲冇買。呢個 {buy, don't buy} 決定就係 class attribute。
收集客戶嘅 demographic、lifestyle、company-interaction 資料（業務類型、住邊、收入幾多等）。
用呢啲資料做 input attributes 去 learn 一個 classifier model。

⚠️ 易混淆

注意 slide 17 標題寫 "Churn prediction"，但內容其實係 direct marketing（預測會唔會「買」新產品）。兩者本質一樣都係 binary classification：一個係 {churn, stay}，一個係 {buy, don't buy}。考試答呢題時，重點係講出 class attribute 係咩、input attributes 係咩、用歷史 data 學 model。

5. Regression

Slide 18 定義：Predict a value of a given continuous valued variable based on the values of other variables, assuming a linear or nonlinear model of dependency. 喺 statistics 同 neural network 領域被廣泛研究。

例子：

根據 advertising expenditure 預測新產品嘅 sales amounts
用 temperature、humidity、air pressure 等預測 wind velocities
Stock market indices 嘅 time series prediction

⭐ 考試重點：Classification vs Regression

	Classification	Regression
Target variable	Categorical（discrete class labels）	Continuous（實數值）
輸出例子	fraud / fair；spam / non-spam	銷售額 $1.23M；風速 12.5 m/s
同屬	Predictive Modeling（supervised，要有 labelled training data）

🔗 跨科連繫

COM6005 Statistical Modeling 後期會教 Linear Regression（continuous target）同 Logistic Regression（雖然叫 regression，其實係做 binary classification）。COM6004 Chapter 4 會詳細講 Decision Tree、KNN、Naïve Bayes、SVM 等 classifiers。

6. Clustering

ExamSlide 19 定義：Finding groups of objects such that the objects in a group will be similar (or related) to one another and different from (or unrelated to) the objects in other groups.

Intra-cluster distances are minimized（同一組入面嘅點要近）
Inter-cluster distances are maximized（唔同組之間要遠）

⚠️ 常見錯誤

Intra = 內部（within），Inter = 之間（between）。考試好多人調轉。記法：International = 國與國之間。

6.1 Applications of Cluster Analysis (Slide 20)

Understanding：為 targeted marketing 做 customer profiling；將相關文件分組方便瀏覽；將功能相似嘅 genes 同 proteins 分組；將價格波動相似嘅 stocks 分組。
Summarization：減少大 data sets 嘅 size（用 cluster 代表一大堆點）。
圖片例子：用 K-means 將 Sea Surface Temperature (SST) 同 Net Primary Production (NPP) 分成反映南北半球嘅 clusters（Courtesy: Michael Eisen 嘅 gene expression 熱圖亦有展示）。

6.2 Application 1: Market Segmentation (Slide 21)

Goal：將市場細分成唔同客戶子集，每個子集都可以成為一個 market target，用獨特嘅 marketing mix 去接觸。

Approach：

收集客戶嘅 geographical 同 lifestyle 相關 attributes。
搵出相似客戶嘅 clusters。
透過觀察同一 cluster 內客戶 vs 唔同 clusters 客戶嘅 buying patterns，衡量 clustering 質素。

6.3 Application 2: Document Clustering (Slide 22)

Goal：根據文件入面出現嘅重要 terms，搵出彼此相似嘅文件群組。

Approach：搵出每份文件常出現嘅 terms → 根據唔同 terms 嘅 frequencies 建立 similarity measure → 用佢嚟 cluster。Slide 例子係 Enron email dataset。

🔗 Chapter 內連繫

Document data 會表示成 term vector，相似度通常用 Cosine Similarity——Chapter 2 有完整計算例子。Clustering 演算法（K-means、Hierarchical、DBSCAN）喺 Chapter 5 詳細講。

7. Association Rule Discovery

Slide 23 定義：

Given a set of records each of which contain some number of items from a given collection;
Produce dependency rules which will predict occurrence of an item based on occurrences of other items.

例如 transaction data（每行係一張單買咗咩），發現嘅 rules：

{Milk} --> {Coke}
{Diaper, Milk} --> {Beer}

🖼️ 圖片內容

Slide 23 嘅 transaction 表（TID 同 Items）係嵌入表格 / 圖片，未能擷取；請對照原 slide 第 23 頁。

7.1 Applications (Slide 24)

Market-basket analysis：rules 用於 sales promotion、shelf management、inventory management。
Medical Informatics：搵出同某啲疾病相關嘅病人 symptoms 同 test results 組合。

7.2 Example 1: Supermarket Shelf Management (Slide 25)

Goal：搵出被足夠多客戶一齊買嘅 items。Approach：處理 barcode scanners 收集嘅 point-of-sale data，搵 items 之間嘅 dependencies。經典 rule：If a customer buys diaper and milk, then he is very likely to buy beer.

7.3 Example 2: Marketing and Sales Promotion (Slide 26)

Exam假設發現 rule {Bagels, … } --> {Potato Chips}。Rule 左邊叫 antecedent，右邊叫 consequent：

睇法	用途
Potato Chips 做 consequent	可以用嚟決定應該做咩去推高 Potato Chips 銷量。
Bagels 喺 antecedent	可以睇吓如果商店停售 Bagels，邊啲產品會受影響。
Bagels 喺 antecedent 同時 Potato Chips 喺 consequent	可以睇應該將咩產品同 Bagels 一齊賣，去促進 Potato Chips 銷售。

💡 直覺理解

Rule X → Y 唔係「因果」，只係「共同出現」(co-occurrence)。買 diaper 唔會「導致」你買 beer；可能係「被老婆叫去買尿片嘅爸爸順手買啤酒」呢個隱藏原因。所以 association rules 用嚟做 promotion、擺貨架好有用，但唔好過度解讀為 causation。

8. Anomaly Detection

Slide 12 將 Anomaly Detection 列為四大 tasks 之一（本 chapter 冇獨立 slide 詳細講）。概念上：搵出同其他 data 顯著唔同 (significant deviations from normal behavior) 嘅 objects。典型應用：credit card fraud detection、network intrusion detection。Chapter 2 講 Outliers 時會再提到：outliers 有時係要清走嘅 noise，有時就係分析目標本身（Case 2: Outliers are the goal of our analysis）。

9. Applications of Data Mining (Section 1.2)

Slide 28：雖然 big data 對 privacy 同 security 有疑慮，但 big data 有潛力令社會變得更好。一般嚟講，big data technology 同 analytics 幫助：

Better understanding the problems（更了解問題）
Providing evidence-based solutions（提供有證據支持嘅方案）
Reducing costs（降低成本）

領域	Slide 內容重點	例子
Business (Slide 29)	建立更完整嘅 customer profile，分成細分 preference segments；作更 informed 嘅 marketing decisions，向較可能 convert 嘅人推廣。	Netflix、Amazon、Facebook
Healthcare (Slide 30)	IBM 預測 2020 年前 patient mortality 減少 20%；醫生可考慮所有資源再作決定；分析過往 trials、trends、病人 lifestyle、history、genetics。	Evidence-based personalized treatment、genome sequencing、forecast demand for medication
Safety (Slide 31)	Smart city 涵蓋水、能源、通訊、房屋、交通；big data 協助 safety、crime prediction、disaster management。	2010 年 Haiti earthquake：企業、緊急服務、政府同市民協作；data quality 對分配有限救援資源至關重要。

🖼️ 圖片內容

Slide 32 "Social Impact" 只有一張圖片，文字擷取不到；請對照原 slide 第 32 頁。

10. Challenges of Data Mining

ExamSlide 33 列出六個技術挑戰，屬典型「列舉 + 解釋」題：

⭐ 考試重點：六大 Challenges

Challenge	解釋（slide 只列名稱，以下為補充說明）
Scalability	Data 去到 GB / TB / PB，演算法要可擴展（例如用 sampling、parallel / distributed computing、out-of-core 演算法）。
High Dimensionality	Attributes 好多（例如數千個 genes），計算量急增，亦會出現 curse of dimensionality（Chapter 2）。
Heterogeneous and Complex Data	Data 類型混雜（文字、圖片、graph、time series、DNA），傳統方法只處理同類型 attributes。
Data Quality	Noise、outliers、missing values、duplicate data、wrong / fake data（Chapter 2）。"Garbage in, garbage out"。
Data Ownership and Distribution	Data 分散喺唔同機構 / 地點，涉及擁有權、通訊成本、安全問題。
Non-traditional Analysis	傳統統計係「先有 hypothesis 再收 data 驗證」；Data Mining 要喺機會性收集 (opportunistic) 嘅 data 上自動產生同評估大量 hypotheses。

10.1 Social Challenges (Slide 34)

Privacy Preservation：保護個人私隱。
Unethical actions based on interpretations：根據分析結果作出不道德行為。
Personal data brokerage：個人資料被買賣。
Data discrimination and inaccuracy：data 有偏差或錯誤，導致歧視性決定。
Few legal protections exist for the involved individuals：當事人得到嘅法律保障好少。

⚠️ 易混淆

考試如果問「Challenges of Data Mining」，通常指 slide 33 嘅技術挑戰（Scalability 等六項）；如果問「Social challenges」先答 slide 34 嘅 privacy 等。兩組唔好撈亂。

自我測驗 Self-test

Q1. 寫出 slide 上 Data Mining 嘅兩個定義，並指出當中三個關鍵字。

(1) "Non-trivial extraction of implicit, previously unknown and potentially useful information from data." (2) "Exploration & analysis, by automatic or semi-automatic means, of large quantities of data in order to discover meaningful patterns." 關鍵字例如：non-trivial、previously unknown、potentially useful、automatic / semi-automatic、large quantities、meaningful patterns。

Q2. 以下邊啲係 Data Mining、邊啲唔係？(a) 用 SQL 查某客戶地址；(b) 由購物紀錄發現經常一齊買嘅產品；(c) 計公司上月總收入；(d) 將客戶分成幾個消費習慣相似嘅群組。

(a) 唔係——直接查已知資料，trivial。(b) 係——Association Rule Discovery。(c) 唔係——簡單 aggregation / reporting。(d) 係——Clustering（market segmentation）。

Q3. Prediction methods 同 Description methods 有咩分別？各舉兩個 tasks。

Prediction：用某啲 variables 預測其他 variables 嘅未知或將來值，例如 Classification、Regression。Description：搵出人類可理解、描述 data 嘅 patterns，例如 Clustering、Association Rules。

Q4. 「預測明日恒指收市點數」同「預測明日恒指升定跌」分別屬咩 task？

收市點數係 continuous → Regression（slide 18 例子：time series prediction of stock market indices）。升 / 跌係 categorical → Classification。

Q5. 用 Fraud Detection 為例，描述 classification 嘅 approach 四個步驟。

(1) 用 credit card transactions 同 account-holder 資料（幾時買、買咩、幾準時還款）做 attributes；(2) 將過往 transactions 標記為 fraud / fair，成為 class attribute；(3) learn 一個 model；(4) 用 model 觀察 account 上嘅 transactions 去偵測 fraud。

Q6. Clustering 嘅目標用 intra / inter-cluster distance 點樣描述？

Intra-cluster distances are minimized（組內點互相接近），inter-cluster distances are maximized（唔同組之間距離大）。

Q7. 發現 rule {Bagels, …} → {Potato Chips}，商店可以點樣利用？

Potato Chips 做 consequent：研究點樣推高佢銷量；Bagels 喺 antecedent：評估停售 Bagels 會影響邊啲產品；兩者一齊睇：決定同 Bagels 一齊賣咩去促進 Potato Chips 銷售。

Q8. 列出 Data Mining 嘅六個技術挑戰，並解釋其中兩個。

Scalability、High Dimensionality、Heterogeneous and Complex Data、Data Quality、Data Ownership and Distribution、Non-traditional Analysis。例如 Scalability：data 量極大，演算法要能有效處理 TB 級 data；Data Quality：noise、missing values、duplicates 等會令 model 出錯（例如 loan model 錯誤拒絕好客戶）。

Q9. 點解傳統分析技術未必適合今日嘅 data？(Origins slide)

因為 data 係 large-scale、high dimensional、heterogeneous、complex 同 distributed；Data Mining 因此結合 machine learning / AI、pattern recognition、statistics 同 database systems 嘅 ideas。

一頁總結 Cheat sheet

⭐ 考前速記

Why：commercial（web / transaction data 大量、電腦平、競爭 → CRM）；scientific（衛星、望遠鏡、gene data；automated analysis + hypothesis formation）。
Definition：non-trivial extraction of implicit, previously unknown, potentially useful information；automatic / semi-automatic discovery of meaningful patterns in large data。
Origins：ML/AI + pattern recognition + statistics + database systems；data 係 large-scale, high-dimensional, heterogeneous, complex, distributed。
Prediction（predict unknown / future values）：Classification（categorical target）、Regression（continuous target）。
Description（human-interpretable patterns）：Clustering、Association Rules。另有 Anomaly Detection。
Classification：training set → learn classifier → model → apply to test set。例：fraud detection、churn / buy prediction、tumor、news、land cover。
Clustering：intra-cluster distance ↓、inter-cluster distance ↑；用途 understanding + summarization；例：market segmentation、document clustering。
Association rules：{Diaper, Milk} → {Beer}；antecedent / consequent；market-basket、medical informatics。
Applications：Business、Healthcare、Safety（better understanding、evidence-based solutions、reducing costs）。
Challenges：Scalability、High Dimensionality、Heterogeneous & Complex Data、Data Quality、Data Ownership & Distribution、Non-traditional Analysis。
Social challenges：privacy、unethical actions、data brokerage、discrimination / inaccuracy、few legal protections。