Introduction to Big Data Management

1. Evolution of Data Management：由 File 到 DBMS

1.1 File-Based Data Management

最原始的做法係將資料直接放喺一個 file 入面（例如 CSV file）。寫 Python 讀寫 CSV 好簡單，所以 Pros: Convenient — minimal effort in coding。但當資料量大、多人同時用，問題就嚟：

1.2 Database Management Systems (DBMS)

ExamDBMS 的核心思想：Decoupling Data Storage & Access from Application Logic——application 唔再自己處理 file 點樣存、點樣鎖、點樣 recover，而係交俾 DBMS 處理。DBMS addresses all the concerns in File-Based Data Management。

Traditional DBMSs 的特徵：

• Centralized（集中喺一部機）
• Based on Relational Model (using tables) — 出自 E. F. Codd: A Relational Model of Data for Large Shared Data Banks, Commun. ACM 13(6), 1970
• Use SQL to interact with the database

Slide 4 的 relational data 例子：一個股價 table，每行係一日，每欄係一個 attribute：

Date	Open	High	Low	Close	Volume
1/1	3.2	3.5	3.1	3.2	1.6M
2/1	3.2	3.3	2.9	3	1M
3/1	3	3.6	2.9	3.5	2M
4/1	3.5	3.9	3.1	3.6	2.3M

2. From Centralized to Distributed：Scale Up vs Scale Out

問題：How to improve the capacity of the database system? 有兩條路：

3. What is Big Data?

Definition (Wikipedia)：Big data primarily refers to data sets that are too large or complex to be dealt with by traditional data-processing application software.

Slide 6 亦提醒：有啲人講 Big Data，其實只係指「佢手上嗰份 data」，而份 data 根本唔大（slide 6 附有 MIMIC-III critical care database 的引用及一張圖片，圖片內容擷取不到）。重點係「traditional software 處理唔到」，唔單止係「大」。

4. Characteristics of Big Data：4 V's

4.1 Volume

Worked example（用 slide 數字）：由 2009 到 2026 大約 17 年 ≈ 6,200 日。每日 2GB → 約 12 TB，而呢個只係 archive 的 1% sample（5M vs 500M）。如果要全量，就係 ~1.2 PB——一部普通電腦明顯處理唔到，所以需要 big data 技術。

4.2 Variety 與 Graph data

X / Twitter 上可以搵到：multi-lingual text、images、videos 等等。另外「Alice is following Elon, Bob is following Elon…」呢類關係可以 represented in a graph（node = 用戶，edge = follow）。Graph analysis 可以答：Who is a KOL (Key Opinion Leader)?——例如被最多人 follow（in-degree 最高）的 node，喺 slide 例子中就係 Elon（Alice、Bob、Cathy、Doris 都指向佢）。

4.3 Types of data

例如同一個 tweet 用 JSON 表示（semi-structured）：

{
  "user": "Alice",
  "text": "BTC to the moon 🚀",
  "lang": "en",
  "media": [{"type": "image", "url": "..."}],   // 有啲 tweet 有，有啲冇
  "retweets": 25
}

每個 key 自己描述自己（self-describing），而且唔同 tweet 可以有唔同 key——呢個就係「flexible」，同 SQL table 每行都要有一樣 columns（fixed schema）唔同。至於 media 指向的 image 本身就係 unstructured data。

4.4 Veracity：data quality

ExamGIGO — Garbage in, garbage out：Data quality is very important! 輸入資料錯，無論 model 幾勁，輸出都係垃圾。Types of data quality concerns：

• Missing data — 例如某日股價冇記錄
• Duplicated data — 同一筆交易記咗兩次
• Ambiguous data — slide 例子：“There is a bird in a cage that can talk.” Who can talk?（bird 定 cage？語意含糊）
• Outdated data — 舊地址、過期價錢
• Inconsistent data — 一個 file 寫 “HK”，另一個寫 “Hong Kong”

4.5 Velocity：speed of data

Real-time data：data is generated continuously；而且 the data source does not always keep all the data for you to download later——錯過咗就冇。

例子 1：記錄 Binance BTCUSDT futures 的資料。要儲乜？每次 update 的 trade queue 都儲？資料量會極大。
例子 2：Home security camera app — Will you keep the video data? 一部 CCTV 一日可產生幾 GB 至幾十 GB 影片（slide 15 引用 Quora 數據，圖片部分擷取不到）。

4.6 Streaming algorithms

What if the data generation speed far exceeds our storage capability? → Streaming algorithms：資料流過時只睇一次、只保留摘要。Key design issues：

• How to extract key summaries and what to keep?
• Can we find the exact answers to queries?
• If it is an approximation, how close will it be? Any bounds on the performance?

5. Why do we have Big Data?

• Internet! Many data sources are available to the public — Social network: Twitter；Finance: Cryptocurrency market data
• Increased capability of machines, e.g., increased storage → We tend to store more data。Slide 圖示：1990's 磁碟 1.44MB；而家 256 GB 記憶卡約 HKD $100；個人雲端 15 GB 免費。

6. Next-generation Data Management：NoSQL

NoSQL stands for Not Only SQL——data is not well structured as a table。Types of NoSQL databases：

• Graph database（例如儲 follow 關係）
• Key-value store
• Document store — Example: MongoDB

ExamNote: RDBMS are still the most widely used DBMS（db-engines.com ranking）。NoSQL 唔係取代 RDBMS。

Example MongoDB data（slide 19）

{ "Symbol": "BTC", "Date": "1/1", "Open": 3.1, "High": 3.3, "Low": 2.9, "Close": 3.1,
  "Sentiment": 0.39, "Basis": 0.0003, "Whale transactions": 1056 }
{ "Symbol": "ETH", "Date": "1/1", "Close": 11.3, "BTC Correlation": 0.77 }
{ "Symbol": "DOGE", "Date": "1/1", "Close": 0.000065, "Twitter mention": 25694 }

Q: What happens if we put the data in a table?
答：Table 要 fixed schema，即係 columns = 所有 document 出現過的 key 的聯集（Symbol, Date, Open, High, Low, Close, Sentiment, Basis, Whale transactions, BTC Correlation, Twitter mention）。結果 ETH 同 DOGE 好多欄都係 NULL（sparse table，浪費空間）；而且將來加新指標就要 ALTER TABLE 改 schema。Document store 就可以每個 document 有自己的欄位。

Which type of database should we use?

This is a core topic of this module! RDBMS vs NoSQL 會喺之後幾堂詳細比較；而且仲要考慮其他選項，例如 single file / HDFS。

7. Use of Big Data：Big Data Analytics

Big Data is almost understood as Big Data Analytics。Data analytics 其實歷史好長：

“Beer and Diapers” (early 1990s)：超市做 market basket analysis，分析顧客一齊買咩。預期結果：bread and butter；意外發現：beer and diapers 經常一齊被買。而家幾乎任何 data analytics task 都被叫做 Big Data Analytics——Is this a good sign?（暗示「Big Data」一詞被濫用。）

Big Data Analytics tools

• Data cleaning — Improve the data quality of your data
• ETL — Extract-transform-load pipeline to preprocess your data for your analysis
• Analytics tools — Machine learning / Data mining / Artificial Intelligence
• OLAP — Online Analytical Processing（Week 5 Power BI 會詳講）

8. Data Pipeline

9. Data Warehouse / Data Lake / Lakehouse

Data Warehouse / Data Lake 都係：

• A central repository
• A copy / snapshot of your data from the original source
• Require synchronization strategy（原始資料變咗，copy 點樣跟住更新？）

10. Working with Data：Where does the time go?

ExamData scientists spend 80% of their time cleaning data——幾十年來唔同行業的調查結果都差唔多。所以 Veracity / data cleaning 係 big data 工作的大部分。

Big Data is not always successful：Google Flu Trends

Google 最初的 paper 聲稱 Google Flu Trends（用搜尋關鍵字預測流感）同 CDC 數據比較有 97% accurate；但 2012/2013 季節，佢預測的求診人數係 CDC 最終記錄的兩倍。教訓：資料量大唔代表準確；data quality、模型假設、搜尋行為改變（concept drift）都會令結果出錯。

自我測驗 Self-test

Q1. 列出 File-Based Data Management 的優點同五個缺點。

Pros：Convenient — minimal effort in coding。Cons：(1) Inefficiency — 小改動都要重寫成個 file；(2) Data Redundancy & Inconsistency — 同一 entity 散落多個 file；(3) No Concurrency Control — 同時寫會損壞或 block 成個系統；(4) Lack of Atomic Transactions — 寫到一半失敗令系統 inconsistent；(5) Data Isolation & Security — 難做 fine-grained access control。

Q2. 一間公司把 database server 由 16GB RAM 升到 128GB，另一間就由 1 部 server 加到 10 部。分別係咩 scaling？後者有咩挑戰？

前者 = Scale Up (Vertical Scaling)；後者 = Scale Out (Horizontal Scaling)。Scale out very challenging：其中一部機 fail 點算？兩部機同時處理同一個 data record 點算（一致性）？加上 network 速度影響 performance（1990s distributed DB 表現差的原因）。

Q3. 將以下資料分類為 structured / semi-structured / unstructured：(a) Excel 成績表 (b) API 回傳的 JSON (c) 錄音 mp3 (d) XML config (e) 掃描的 PDF 合約

(a) Structured；(b) Semi-structured；(c) Unstructured；(d) Semi-structured；(e) Unstructured。

Q4. 說明 4 V's，並各舉一個 crypto 相關例子。

Volume：多年 Twitter 討論 bitcoin 的 archive（2GB/day 的 sample）。Variety：tweet 有多語言文字、圖片、影片，follow 關係係 graph。Veracity：付費 API 的價格錯 10 倍、LUNA 崩盤後 sentiment 仍顯示 positive。Velocity：Binance 交易隊列不斷更新，來源唔會保留晒俾你之後下載。

Q5. 如果每日收集 2GB tweets，連續收 10 年需要幾多儲存空間？如果收全量（100 倍）呢？

2GB × 365 × 10 ≈ 7,300 GB ≈ 7.3 TB。全量約 100 倍 ≈ 730 TB（接近 1 PB）。說明 Volume 問題：單機難以處理，要考慮 scale out / distributed storage。

Q6. 將 slide 19 的 BTC / ETH / DOGE MongoDB documents 放入一個 relational table 會有咩問題？

Table 需要 fixed schema，columns 要包括所有 document 的 keys 聯集；ETH、DOGE 大部分欄位會係 NULL（sparse、浪費），而新增指標要改 schema。Document store（NoSQL）容許每個 document 有不同欄位，更適合。

Q7. Data pipeline 中，負責「按 DAG 排程、監察各步驟依賴」的係邊個 layer？舉一個工具。Serving layer 呢？

Orchestration Layer，例如 Apache Airflow。Serving Layer 儲存 business-ready data 喺為 application 優化的引擎，例如 Snowflake。

Q8. Data Warehouse、Data Lake、Lakehouse 有咩分別？

三者都係 central repository（原始資料的 copy/snapshot，需要 synchronization strategy）。Warehouse 存 structured data；Lake 存 unstructured（包括 structured）data；Lakehouse 喺 data lake 之上加 metadata + transaction layer，將 unstructured/semi-structured data map 成可 query 的 schema 而唔使搬資料，結合 lake 的 scalability 同 warehouse 的 consistency。

Q9. 咩係 GIGO？列出五種 data quality concerns。

Garbage in, garbage out：輸入資料差，分析結果亦差。五種：Missing, Duplicated, Ambiguous, Outdated, Inconsistent data。

一頁總結 Cheat sheet