第8章：集成学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第8章 集成学习（Ensemble Learning）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1个体与集成集成学习通过投票法（分类）或平均法（回归）将多个”基学习器”组合起来。 集成有效的必要条件 个体学习器要有一定的**”准确性”**（至少比随机猜测好） 个体学习器之间要**”多样性”**（犯不同的错误） 误差-分歧分解（直观版本）： 📐 公式 E=Eˉ−Aˉ E = \bar{E} - \bar{A} E=Eˉ−Aˉ 其中 EEE 是集成泛化误差，Eˉ\bar{E}Eˉ 是个体泛化误差的加权平均，Aˉ\bar{A}Aˉ 是分歧（个体之间有多不一致）。分歧越大，集成效果越好。 学习器1准确率 75% 学习器2准确率 75% 学习器3准确率 75% → 集成后 准确率 90%+ 只要错误不重叠，多数投票就能纠错！ 🍉 通俗类比 三个独立考官各自有 75% 准确率，但他们犯错的时候不一样。当一个人判断错误，另外两个很可能判断正确，多数投票后错误就被纠正了。这就是”好而不同”的力量。 两大范式...
第7章：贝叶斯分类器 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第7章 贝叶斯分类器（Bayesian）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 1贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。对于分类任务，在所有相关概率已知的理想情况下，最优分类器由贝叶斯公式给出： 📐 公式 P(c∣x)=P(x∣c)P(c)P(x) P(c \mid \boldsymbol{x}) = \frac{P(\boldsymbol{x} \mid c) P(c)}{P(\boldsymbol{x})} P(c∣x)=P(x)P(x∣c)P(c) P(c)P(c)P(c)：**先验概率**（在不知道样本长相的时候，猜它是 ccc 类的概率） P(x∣c)P(\boldsymbol{x}|c)P(x∣c)：**类条件概率**（也叫"似然"，已知是 ccc 类，样本长 x\boldsymbol{x}x 样的概率） P(c∣x)P(c|\boldsymbol{x})P(c∣x)：**后验概率**（看到样本 x\boldsymbol{x}x 后，它是 ccc 类的更新后的概率） 贝叶斯最优...
第9章：聚类 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第9章 聚类（Clustering）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 01. 聚类任务概述什么是聚类？它能解决什么问题？ 📌 核心定义 聚类（Clustering）是将数据集中的样本划分为若干个不相交的子集， 每个子集称为一个簇（Cluster）。聚类的目标是： 簇内相似性最大：同一簇内的样本应尽可能彼此相似 簇间差异性最大：不同簇的样本应尽可能不同 形式化表示：给定样本集 D={x1,x2,…,xm}D = \{x_1, x_2, \ldots, x_m\}D={x1,x2,…,xm}，聚类算法将 DDD 划分为 kkk 个不相交的簇 {Cl∣l=1,2,…,k}\{C_l \mid l = 1, 2, \ldots, k\}{Cl∣l=1,2,…,k}， 满足 Ci∩Cj=∅C_i \cap C_j = \emptysetCi∩Cj=∅（i≠ji \neq ji=j）且 ⋃l=1kCl=D\bigcup_{l=1}^k C_l = D⋃l...
第14章：概率图模型 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第14章 概率图模型（Probabilistic Graphical）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 ①. 基本概念与模型分类有向图 vs. 无向图，概率图的两种范式 🗺️ 生活类比：家族族谱 vs. 朋友圈 **有向图（贝叶斯网络）**像家族族谱——你从父母到子女有明确的方向。”基因”沿有向边传递，父子关系带来因果依赖。**无向图（马尔可夫随机场）**像朋友圈——朋友之间没有方向，你们相互影响。”状态”通过无向连接相互约束。 📐 概率图模型 = 图结构 + 概率分布 一个概率图模型就是用图 G=(V,E)\mathcal{G}=(\mathcal{V},\mathcal{E})G=(V,E) 描述随机变量集合 X={X1,…,Xn}\boldsymbol{X}=\{X_1,\ldots,X_n\}X={X1,…,Xn} 之间的依赖关系，用一套参数 Θ\boldsymbol{\Theta}Θ 来量化这些关系。 有向图（贝叶斯网络） A B C D 父→子 局部条件概率表（CPT）...
第15章：规则学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第15章 规则学习（Rule Learning）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 ①. 基本概念与”规则”的形式命题规则 vs. 一阶规则，规则集与规则列表 📋 生活类比：医学诊断手册 医生看病的经验，最自然的表达就是”规则”——“如果发烧+咳嗽+白细胞升高，则很可能是细菌感染”。一条规则覆盖一类病例，不需要算概率，不需要调参数，看一眼就懂。规则学习的目标就是从数据中自动挖掘这样的诊断规则。 📜 规则的基本形式 规则的一般形式为： 📐 命题规则（Propositional Rule） IF (f1∈V1)∧(f2∈V2)∧⋯∧(fk∈Vk) THEN c \textbf{IF}\;(f_1 \in V_1) \land (f_2 \in V_2) \land \cdots \land (f_k \in V_k)\;\textbf{THEN}\; c IF(f1∈V1)∧(f2∈V2)∧⋯∧(fk∈Vk)THENc 规则体（body）是属性-值检验的合取，头部（head）是一个类别标...
第16章：强化学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第16章 强化学习（Reinforcement Learning）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 ①. 任务与框架：MDP马尔可夫决策过程：状态、动作、奖励、转移 🐕 生活类比：训狗学把戏 你不直接告诉狗狗”坐下”的精确肌肉指令，你只在它做对时给一根骨头（奖励），做错时不给。狗狗试了无数次后才隐约明白”哪种行为更容易拿到骨头”。它不知道全局最优策略是什么，只能在试错中逐渐逼近。 🎮 MDP 四要素 智能体 (Agent) 策略 π 环境 (Environment) 动态 P,R 动作 a_t 新状态 s_{t+1} + 奖励 r_t 要素 符号 含义 状态空间 S\mathcal{S}S 所有可能的环境状态 动作空间 A\mathcal{A}A 智能体可执行的动作 状态转移概率 P(s′∣s,a)P(s'|s,a)P(s′∣s,a) 在状态 sss 执行 aaa 后转移到 s′s's′ 的概率 奖励函数 R(s,a)R(s,a)R(s...
第13章：半监督学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第13章 半监督学习（Semi-Supervised）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 ①. 问题概述与基本假设为什么半监督学习有效？三大核心假设 🎓 生活类比：考前临时抱佛脚 期末复习只有 10 道有答案的例题（标注数据），但你手里有 1000 份历年试卷但没有答案（无标签数据）。半监督学习就是：虽然不知道 1000 份的答案，但通过观察这些题目的规律和分布——“这类题总是一起出现”、”这两道题很像”——来辅助你学习那 10 道有答案的题，效果远好于只看 10 道题。 📌 问题设定 设有有标记样本集 Dl={(x1,y1),…,(xl,yl)}D_l = \{(\boldsymbol{x}_1, y_1), \ldots, (\boldsymbol{x}_l, y_l)\}Dl={(x1,y1),…,(xl,yl)}，以及无标记样本集 Du={xl+1,…,xl+u}D_u = \{\boldsymbol{x}_{l+1}, \ldots, \boldsymbol{x}_{l+u}\}Du={...
第11章：特征选择与稀疏学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第11章 特征选择与稀疏学习（Feature Selection）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 01. 特征选择概述为什么需要选特征？ 🎯 特征选择的目的 现实数据集中往往包含成百上千个特征，但并非所有特征都对学习有用。特征可分为三类： ✅ 相关特征 对当前学习任务有用的特征，应当保留。 ❌ 无关特征 与学习任务无关（不相关特征），应当删除。 ⚠️ 冗余特征 包含的信息可由其他特征推出（多余），可以删除但有时有辅助作用。 🍎 通俗理解 你要根据一个人的信息预测他的收入：✅ 相关特征：学历、工作年限、所在城市——明显有用❌ 无关特征：鞋码、头发颜色——基本没用⚠️ 冗余特征：月薪和年薪——一个可以由另一个算出来 特征选择就是保留相关特征，删除无关和冗余特征，让模型更高效准确。 🔑 特征选择 vs 降维 特征选择：从原始特征中挑选出一个子集，特征的含义不变 降维（如PCA）：将原始特征变换为新的低维特征（如主成分），失去原始含义 两者都能减少特征维度，但特征选择保留了可解释性 🎯 三...
第10章：降维与度量学习 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第10章 降维与度量学习（Dimensionality Reduction）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 01. k 近邻学习（kNN）最简单的”懒惰学习”算法 🔢 核心思想 **k近邻学习（k-Nearest Neighbor，kNN）是一种懒惰学习（lazy learning）**算法——它不构建显式的模型，而是在预测时直接找到训练集中最近的 kkk 个样本，用它们的标记来决策。 🍎 通俗理解 你搬到一个新城市，不知道周围的餐厅好不好吃。怎么判断？看最近的几家邻居餐厅的口碑——大家都说好，这家大概也不错。这就是 kNN 的逻辑：我不认识你，但我知道你的邻居，通过邻居来判断你。 📐 kNN 分类规则 给定测试样本 xxx，找其最近的 kkk 个训练样本构成集合 Nk(x)N_k(x)Nk(x)，通过投票决定类别： y^=argmaxc∈Y∑xi∈Nk(x)1(yi=c) \hat{y} = \underset{c \in \mathcal{Y} }{\arg\max} \sum_{x_i ...
第12章：计算学习理论 — 西瓜书学习笔记
本文是周志华《机器学习》（西瓜书）第12章 计算学习理论（Learning Theory）的学习笔记，涵盖本章所有核心知识点，配有通俗类比与公式推导。 01. 基础知识与符号学习理论的基本概念和数学工具 🧮 核心概念 📐 基本设置 X\mathcal{X}X：样本空间，Y\mathcal{Y}Y：标记空间（如 {−1,+1}\{-1,+1\}{−1,+1}） D\mathcal{D}D：X×Y\mathcal{X} \times \mathcal{Y}X×Y 上的未知分布 D={(x1,y1),…,(xm,ym)}D = \{(x_1,y_1),\ldots,(x_m,y_m)\}D={(x1,y1),…,(xm,ym)}：从 D\mathcal{D}D 独立同分布采样的训练集 h:X→Yh: \mathcal{X} \to \mathcal{Y}h:X→Y：假设（即学到的分类器） H\mathcal{H}H：假设空间（所有候选假设的集合） 📐 误差的定义 泛化误差（真实误差）： E(h;D)=P(x,y)∼D[h(x)≠y]E(h;\mathca...
