Descriptive Statistics & Inferential Statistics

1. Descriptive vs Inferential Statistics

統計學可以粗略分兩大類（slide 2）：

Slide 3 嘅例子：

	例子	適用
Sample data	Salaries of HSUHK graduates	計 sample mean、畫 histogram → Descriptive
Population	Salaries in Hong Kong labour market	用 HSUHK sample 推論全港薪金 → Inferential

2. Descriptive Statistics：Location 同 Dispersion

Slide 4 將 descriptive statistics 分做四大類：

類別	包括	回答咩問題？
Location parameter / characteristic	Mean (Average)、Median、Mode、Sum	數據「中心」喺邊？
Dispersion parameter / characteristic	Standard deviation、Variance、Range、IQR (Interquartile range)、Percentile	數據有幾「散」？
Tables	frequency table、contingency table	用表格總結
Charts	histogram、boxplot、bar chart、scatter plot	用圖總結

2.1 公式

• Median：排好序之後中間嗰個（n 雙數就取中間兩個嘅平均）。
• Mode：出現次數最多嘅值（categorical data 都用得）。
• Percentile：第 k 個 percentile 即係有 k% 數據 ≤ 呢個值；$Q_1$ = 25th、Median = 50th、$Q_3$ = 75th percentile。

2.2 Worked example（用 slide 15 嘅 Sales 數據）

$Y = \text{Sales}$：60, 43, 52, 36, 40（$n = 5$）

import pandas as pd
import numpy as np
y = pd.Series([60, 43, 52, 36, 40])
print(y.mean(), y.median(), y.sum())          # 46.2 43.0 231
print(y.var(), y.std())                        # 94.2 9.705...（ddof=1）
print(y.max() - y.min())                       # Range = 24
print(y.quantile(0.75) - y.quantile(0.25))     # IQR = 12.0
print(y.describe())                            # 一次過出 count/mean/std/min/25%/50%/75%/max

3. Inferential Statistics 包括咩？

Slide 5 列出 inferential statistics 嘅主要內容（之後幾個 Module 會逐一詳細講）：

4. 兩類模型：Prediction vs Classification

Slide 6：課程會研究兩類模型——

類型	Y 係咩	例子	常用方法
Prediction of numeric value	numerical / continuous	price、sales、fuel consumption	Linear regression
Classification	categorical（類別）	cancer/healthy、agree/neutral/disagree、phase I/II/III cancer	Logistic regression

4.1 Background：Training data、n 同 p（slide 7）

• Problem：In the training data, both X and Y are given. In the new data, only X is known. The goal is to guess Y for the new data.
• Multivariate means p is more than 1. n = number of rows in training；p = number of columns in X。
• Classical situation：p is small, n is large。
• Modern situation：both p and n can be large。
• PCA 同 LASSO 係處理 modern large-p 問題嘅技術。

4.2 四個例子（slides 8–13）

例子	X	Y	題型	n, p
Fuel consumption（slide 8）	$X_1$ %Driving License, $X_2$ Income, $X_3$ Tax	Fuel consumption（數字）	Numeric prediction	$n = 4$（training 年份 2016–2019）, $p = 3$
Heart attack（slide 9）	$X_1$ Tobacco, $X_2$ Family history (Present/Absent), $X_3$ Alcohol	Get heart attack? Yes/No	Classification	$n = 4, p = 3$
Handwritten digit（slides 10–11）	$28 \times 28 = 784$ 個 pixel（Black/White）	digit 0–9	Classification（10 類）	$n = 60{,}000, p = 784$（n、p 都大 → modern）
Cancer microarray（slides 12–13）	6000 個 gene expression level	Healthy / Cancer	Classification	$n = 50, p = 6000$（$p \gg n$ → modern large-p）

5. Prediction：Is it possible?（p = 1 簡單情況）

Slide 15 嘅數據：$X = \text{Advertisement Expenditure}$，$Y = \text{Sales}$。

Year	X	Y
2015	172	60
2016	156	43
2017	167	52
2018	145	36
2019	150	40
2025 (new)	180	???

Naïve method for prediction $p = 1$（slide 16）：

1. Plot the training data（scatter plot）
2. Draw a straight line that “fit the data well”
3. Make prediction from the straight line

Slide 17 嘅圖顯示：5 個 training 點大致排成一條直線，喺 $X = 180$ 嗰度沿直線讀出 $Y \approx 65$。

6. Classification：Is it possible?（p = 2，k-NN）

Slide 19 用 Iris 數據：$X_1 = \text{Sepal Length}$、$X_2 = \text{Sepal Width}$、$Y = \text{Species}$（Setosa / Versicolor / Virginica）。New data = (5.3, 3.3)。

Naïve method for classification $p = 2$（slide 20）：

• Plot the training data with labels
• For the new data, check the neighboring training data. “Neighbor” requires the concept of distance.
• Predict based on the proportions of neighboring points falling into different categories

Slide 21 嘅 scatter plot：新點（紅色菱形，約 (5.3, 3.25)）周圍畫咗一個圓圈 “Neighbor of new data”，圈入面大部分係 setosa（圓圈符號）。

Euclidean distance（slide 23）between $(x_1,y_1)$ and $(x_2,y_2)$：

6.1 Worked example：用 slide 19 列出嘅 4 個 training 點

New point = (5.3, 3.3)

Training point	Species	Distance
(5.1, 3.5)	Setosa	$\sqrt{0.2^2+0.2^2} = \sqrt{0.08} \approx 0.283$
(4.9, 3.0)	Setosa	$\sqrt{0.4^2+0.3^2} = \sqrt{0.25} = 0.500$
(5.9, 3.0)	Virginica	$\sqrt{0.6^2+0.3^2} = \sqrt{0.45} \approx 0.671$
(6.2, 3.4)	Virginica	$\sqrt{0.9^2+0.1^2} = \sqrt{0.82} \approx 0.906$

如果 $k = 3$（淨係用呢 4 點示範）：最近 3 個 = Setosa, Setosa, Virginica → $P(\text{setosa}) = 2/3$、$P(\text{virginica}) = 1/3$ → predict Setosa。

import numpy as np
from collections import Counter
train_X = np.array([[5.1, 3.5], [4.9, 3.0], [6.2, 3.4], [5.9, 3.0]])
train_y = np.array(["Setosa", "Setosa", "Virginica", "Virginica"])
new = np.array([5.3, 3.3])
d = np.sqrt(((train_X - new) ** 2).sum(axis=1))   # Euclidean distance
k = 3
nearest = train_y[np.argsort(d)[:k]]               # 最近 k 個嘅 label
print(d.round(3), Counter(nearest))                # Setosa: 2, Virginica: 1

# 用 scikit-learn
from sklearn.neighbors import KNeighborsClassifier
knn = KNeighborsClassifier(n_neighbors=3).fit(train_X, train_y)
print(knn.predict([new]), knn.predict_proba([new]))

7. 其他相關數學知識同 Python

Slide 24 列出之後會用到嘅數學：

範疇	內容	用喺邊
Linear algebra	Matrix、solving linear equations、matrix inverse	Regression（Module 4：$\hat\beta = (X'X)^{-1}X'Y$）
Linear algebra	Eigenvalue and eigenvector	Principal component analysis (PCA)
Calculus	Derivatives、maximum、minimum	OLS：對 SS 求導 = 0 搵最小值

Problem Solving with Python（slides 25–26）：大部分統計方法都可以用 Python（freeware）做。Python tutorial 會示範：

• Reading data to the computer（例如 pd.read_csv()）
• Specifying the data type (numerical, categorical)（例如 astype("category")）
• Drawing graphs visualizing the data（matplotlib / seaborn）

import pandas as pd
import matplotlib.pyplot as plt
df = pd.DataFrame({"adv": [172, 156, 167, 145, 150],
                   "sales": [60, 43, 52, 36, 40]})
df["year"] = pd.Categorical([2015, 2016, 2017, 2018, 2019])  # 指定為 categorical
print(df.dtypes)
plt.scatter(df["adv"], df["sales"])      # 畫 scatter plot 睇下係咪似直線
plt.xlabel("Advertisement"); plt.ylabel("Sales"); plt.show()

自我測驗 Self-test

Q1. 「調查 300 個香港中學生每日用手機時間，平均 4.2 小時」同「由此推斷全港中學生平均用手機時間嘅 95% CI 係 (3.9, 4.5)」各屬咩類統計？

前者係 Descriptive（總結 sample）；後者係 Inferential（由 sample 推論 population，用 Confidence Interval）。Sample = 300 個學生；Population = 全港中學生。

Q2. 數據 3, 7, 7, 10, 13：計 mean、median、mode、range、sample variance、SD。

Mean = 40/5 = 8；Median = 7；Mode = 7；Range = 13 − 3 = 10。偏差平方：25 + 1 + 1 + 4 + 25 = 56；$s^2 = 56/4 = 14$；$s = \sqrt{14} \approx 3.742$。

Q3. 將以下歸類為 location 或 dispersion：median、IQR、sum、percentile、mode、variance。

Location：median、sum、mode。Dispersion：IQR、percentile、variance（跟 slide 4 嘅分類，percentile 列喺 dispersion 之下）。

Q4. 用病人嘅年齡、血壓、膽固醇預測「住院日數」，同預測「會否再入院 (Yes/No)」，各屬咩題型？建議用咩方法？

住院日數係數字 → numeric prediction → Linear regression。再入院 Yes/No 係類別 → Classification → Logistic regression。兩題都係 $p = 3$。

Q5. Handwritten digit 數據：n 同 p 係幾多？屬 classical 定 modern situation？

$n = 60{,}000$（training images），$p = 28 \times 28 = 784$（pixels）。n 同 p 都大 → modern situation。題型係 classification（Y = 0–9 label）。

Q6. 新點 (2, 2)；training 點 A(1, 1) 屬 “Red”、B(4, 2) 屬 “Blue”、C(2, 4) 屬 “Blue”、D(3, 3) 屬 “Red”、E(0, 2) 屬 “Blue”。用 $k = 3$ 嘅 k-NN 預測。

Distance：$A = \sqrt{2} \approx 1.414$；$B = 2$；$C = 2$；$D = \sqrt{2} \approx 1.414$；$E = 2$。最近 3 個：A (Red)、D (Red)，第三近有 B、C、E 打和（都係 2，而且全部係 Blue）→ 揀邊個都係 Blue。比例 Red 2/3、Blue 1/3 → predict Red。

Q7. 點解 microarray（$n = 50, p = 6000$）唔可以直接用普通 multiple linear regression？slide 提咗咩技術？

$p \gg n$，參數多過觀測值，$X'X$ 唔可逆，有無限多組解，亦會嚴重 overfitting。Slide 7 提到 PCA（降維）同 LASSO（variable selection / shrinkage）用嚟處理 modern large-p 問題。Module 4 亦提到 multiple regression 要求 p 相對 n 細（$p > 10$ 已可能好有問題）。

Q8. Slide 15 數據用 OLS 計出 $\hat Y = -87.21 + 0.8444X$。廣告開支 = 160 時預測 sales？slope 點解讀？

$\hat Y = -87.21 + 0.8444 \times 160 \approx 47.9$。Slope：廣告開支每增加 1 單位，預期 sales 平均增加約 0.844 單位。

一頁總結 Cheat sheet