📊 机器学习基础

📖 定义

机器学习（Machine Learning, ML）是人工智能的核心分支。Tom Mitchell 在其经典教材中给出了被广泛引用的正式定义：

"如果一个计算机程序在任务 T 上，以性能度量 P 来衡量，通过经验 E 的学习而性能有所提升，则称该程序对任务 T 进行了学习。"
— Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.

简单来说：机器学习是让计算机从数据中自动学习规律和模式，而非被人类明确编程。传统编程中，开发者编写固定的规则（if-else）来处理输入；而机器学习中，我们提供数据和期望的输出，让算法自己找出从输入到输出的映射关系。

🔄 范式转变：从传统编程到机器学习

机器学习的兴起标志着计算机科学的一个根本性范式转变：

📐 核心数学公式

机器学习的核心思想可以用一个简单的公式表达：

其中：

• x — 输入特征（Input Features），例如房屋面积、房间数、位置等
• y — 输出标签（Output / Target），例如房价、邮件是否为垃圾邮件
• f — 模型/函数（Model），这是我们希望机器学习到的映射关系

机器学习的目标就是：给定一组训练数据 {(x₁,y₁), (x₂,y₂), ..., (xₙ,yₙ)}，找到一个最优的函数 f，使其对新的未见数据也能做出准确预测。

这个看似简单的框架，衍生出了今天我们看到的从垃圾邮件过滤到自动驾驶汽车的庞大应用生态。

✅ 2.1 监督学习 | Supervervised Learning

📖 定义

监督学习使用带标签的训练数据，即每条数据都包含输入特征 x 和对应的正确输出 y。算法通过学习这些配对数据，构建一个能够将新输入映射到正确输出的模型。

按照输出类型的不同，监督学习又细分为两大任务：

• 分类（Classification）：输出是离散的类别标签。例如：判断邮件是否为垃圾邮件、识别图片中的动物种类。
• 回归（Regression）：输出是连续的数值。例如：预测房价、预测股票价格、温度预测。

🧮 核心算法

📊 评估指标

F1 = 2 × (Precision × Recall) / (Precision + Recall)；R² = 1 - SS_res / SS_tot，R² 越接近 1 模型越好。

🔍 2.2 无监督学习 | Unsupervised Learning

📖 定义

无监督学习处理的是没有标签的数据。算法需要在没有"标准答案"的指导下，自行发现数据中的结构、模式和关系。这就像给学生一堆书，让他们自己分组，而不告诉他们分组的标准。

无监督学习主要分为两大任务：

• 聚类（Clustering）：将数据点分成不同的组（簇），使同组内的数据点尽可能相似，不同组的数据点尽可能不同。例如：用户分群、异常检测。
• 降维（Dimensionality Reduction）：在尽量保留数据信息的前提下，减少特征的数量。有助于可视化、消除噪声、加速训练。例如：t-SNE 可视化高维数据。

🧮 核心算法

🎮 2.3 强化学习 | Reinforcement Learning

📖 定义

强化学习（RL）是一种通过与环境交互来学习的范式。智能体（Agent）在环境中采取行动（Action），环境返回新的状态（State）和奖励信号（Reward）。Agent 的目标是学习一个策略（Policy），使长期累积奖励最大化。

强化学习的核心思想源自行为心理学：通过"试错"和"奖励反馈"来学习最优行为。

🧩 核心概念

🧮 核心算法

1️⃣ 数据收集

数据是机器学习的"燃料"。数据来源包括：公开数据集（UCI、Kaggle）、企业数据库、API 接口、传感器日志、爬虫采集等。需要关注数据的数量（越多越好）、质量（准确性、完整性）和多样性（覆盖各种情况）。

2️⃣ 数据预处理

真实数据往往是"脏"的。预处理步骤包括：缺失值处理（填充或删除）、异常值检测（Z-score、IQR 方法）、数据标准化/归一化（StandardScaler、MinMaxScaler）、类别编码（Label Encoding、One-Hot Encoding）、数据增强（对图像进行旋转、翻转等）。

3️⃣ 特征工程

特征工程是将原始数据转化为模型能更好理解的特征表示的过程。包括：特征选择（去除无关特征）、特征构造（组合已有特征创建新特征，如"人均面积 = 总面积 / 人数"）、特征变换（对数变换、多项式特征）。好的特征工程往往比选择更复杂的模型更有效。

4️⃣ 模型选择

根据任务类型（分类/回归/聚类）、数据规模、可解释性需求等选择合适的算法。实践中通常从简单模型开始（如线性回归），逐步尝试更复杂的模型（如随机森林、XGBoost、神经网络）。使用交叉验证来比较不同模型的表现。

5️⃣ 模型训练

使用训练数据拟合模型参数。核心是选择合适的损失函数（Loss Function）和优化器（Optimizer）。训练过程通过迭代更新参数来最小化损失函数。需关注超参数调优（Grid Search、Random Search、Bayesian Optimization）。

6️⃣ 模型评估

在独立的测试集上评估模型性能，使用与任务匹配的指标（分类：Accuracy、F1；回归：MSE、R²）。还需关注模型的泛化能力（在新数据上的表现）、鲁棒性（对噪声和异常值的抵抗能力）和公平性（对不同群体的表现是否一致）。

7️⃣ 部署上线

将训练好的模型部署到生产环境。常见方式包括：REST API 服务（Flask、FastAPI）、容器化部署（Docker + Kubernetes）、边缘设备部署（ONNX、TensorRT）。上线后需要持续监控模型性能、收集新数据、定期重新训练，以应对数据分布漂移（Data Drift）。

📈 过拟合 vs 欠拟合

这是机器学习中最核心的一对概念，直接影响模型的泛化能力。

⚖️ 偏差-方差权衡

模型的预测误差可以分解为三个部分：

• 偏差（Bias）：模型预测值与真实值的平均偏差。高偏差意味着模型过于简单，无法捕捉数据的真实模式（即欠拟合）。
• 方差（Variance）：模型对不同训练数据的敏感程度。高方差意味着模型过于复杂，对训练数据的变化过于敏感（即过拟合）。
• 不可约噪声：数据本身固有的噪声，无法通过改进模型来消除。

理想的模型需要在偏差和方差之间找到最佳平衡点——模型足够复杂以捕捉真实模式，又不至于复杂到记住了噪声。

🔁 交叉验证 (Cross Validation)

交叉验证是评估模型泛化能力的可靠方法，可以有效防止因数据划分不当导致的评估偏差。

K 折交叉验证 (K-Fold CV)

最常用的交叉验证方法。将数据集均分为 K 个子集（"折"），每次使用其中 K-1 个折作为训练集，剩余 1 个折作为验证集，重复 K 次，取 K 次评估结果的平均值。

1. 将数据集随机打乱并分为 K 个大小相近的子集（通常 K = 5 或 10）
2. 第 1 轮：用子集 2~K 训练，用子集 1 验证，记录指标
3. 第 2 轮：用子集 1,3~K 训练，用子集 2 验证，记录指标
4. ...重复 K 轮，确保每个子集都做过一次验证集
5. 计算 K 轮指标的平均值和标准差，作为模型性能的最终评估

交叉验证的优点：充分利用数据（尤其是数据有限时）；提供性能评估的置信区间（通过标准差）。

🛠️ 特征工程的重要性

特征工程是将领域知识融入机器学习的关键环节。Kaggle 竞赛的获胜者常说："Features matter more than algorithms."（特征比算法更重要）。

为什么特征工程如此重要？

• 降低维度灾难：无关特征会增加模型复杂度，降低性能。特征选择可以去除噪声特征。
• 提升模型表达能力：好的特征组合能让简单模型达到甚至超越复杂模型的效果。
• 加速训练：更少的、更有信息量的特征意味着更快的训练速度。
• 提高可解释性：有意义的特征使模型的决策过程更容易理解和解释。

常用技术

# ============================================
# 机器学习实战：鸢尾花 (Iris) 分类器
# 使用 scikit-learn 实现完整的 ML 流程
# ============================================

# 1. 导入必要的库
import numpy as np
from sklearn import datasets
from sklearn.model_selection import train_test_split, cross_val_score
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (
    classification_report,
    confusion_matrix,
    accuracy_score,
)

# 2. 加载数据集（鸢尾花：3 种分类，4 个特征）
iris = datasets.load_iris()
X = iris.data   # 特征矩阵：150 个样本 × 4 个特征
y = iris.target # 标签向量：0-山鸢尾 1-变色鸢尾 2-维吉尼亚鸢尾

print(f"数据集形状: {X.shape}")  # (150, 4)
print(f"类别: {iris.target_names}")  # ['setosa' 'versicolor' 'virginica']

# 3. 数据预处理：标准化
#    将特征缩放到均值为 0、标准差为 1
scaler = StandardScaler()
X_scaled = scaler.fit_transform(X)

# 4. 划分训练集和测试集（80% 训练，20% 测试）
X_train, X_test, y_train, y_test = train_test_split(
    X_scaled, y, test_size=0.2, random_state=42, stratify=y
)
print(f"训练集: {X_train.shape[0]} 样本")
print(f"测试集: {X_test.shape[0]} 样本")

# 5. 模型选择与训练：随机森林
#    随机森林是一种集成学习方法，通过构建多棵决策树并综合结果
model = RandomForestClassifier(
    n_estimators=100,    # 决策树数量
    max_depth=5,        # 最大深度（防止过拟合）
    random_state=42,
)
model.fit(X_train, y_train)  # 训练模型

# 6. 模型评估
y_pred = model.predict(X_test)  # 在测试集上预测

# 准确率
accuracy = accuracy_score(y_test, y_pred)
print(f"\n准确率: {accuracy:.4f}")  # 通常在 0.93~1.00 之间

# 详细分类报告（精确率、召回率、F1 分数）
print("\n--- 分类报告 ---")
print(classification_report(
    y_test, y_pred, target_names=iris.target_names
))

# 混淆矩阵
print("--- 混淆矩阵 ---")
print(confusion_matrix(y_test, y_pred))

# 7. 交叉验证（更稳健的评估）
#    5 折交叉验证，给出平均准确率和标准差
cv_scores = cross_val_score(model, X_scaled, y, cv=5)
print(f"\n5 折交叉验证: {cv_scores.mean():.4f} (±{cv_scores.std():.4f})")

# 8. 特征重要性分析
print("\n--- 特征重要性 ---")
for name, importance in zip(iris.feature_names, model.feature_importances_):
    print(f"  {name}: {importance:.4f}")

# ============================================
# 输出示例：
# 数据集形状: (150, 4)
# 准确率: 0.9333
# 5 折交叉验证: 0.9667 (±0.0211)
#   petal length (cm): 0.4413  ← 最重要特征
#   petal width (cm):  0.4171
#   sepal length (cm): 0.1087
#   sepal width (cm):  0.0329
# ============================================

💡 代码要点解读

• StandardScaler：标准化确保所有特征在同一尺度上，避免某些特征因数值大而主导模型。
• stratify=y：分层抽样确保训练集和测试集中各类别的比例一致。
• n_estimators=100：构建 100 棵决策树，更多的树通常意味着更好的性能（但计算成本也更高）。
• max_depth=5：限制树的深度是防止过拟合的重要手段。
• cross_val_score：交叉验证提供比单次划分更可靠的性能估计。
• feature_importances_：随机森林可以输出每个特征的重要性分数，帮助理解模型决策并指导特征工程。