一键回城。 决策树 回忆：我们之前的很多模型都可以写成 y=wTx+by = w^Tx+by=wTx+b，决策逻辑（二分类）：f(x)≥0f(x)\ge0f(x)≥0 时预测为 111，否则预测为 000。 事实上这个逻辑可以写成一个树。 我们之前学习的模型多为线性模型，为了应对非线性性，我们可以考虑引入决策树。 决策树定义：一棵包含根节点、内部节点、叶子节点和有向边的树，每个非叶节点会将

本文主要涉及高斯过程相关的推导以及应用。 一键回城。 作者的概率统计知识相当菜，在课后费了好大劲才搞懂这一节的内容，如有错误欢迎随时指出，吾必当感激不尽！ 多元高斯分布（Multivariate Gaussian Distribution） 考虑多元高斯分布 N(x∣μ,Σ)\mathcal{N}(x\mid \mu,\Sigma) N(x∣μ,Σ) μ∈Rd\mu \in \mathbb{

本节内容假设模型为二分类，y∈{1,−1}y \in \{1,-1\}y∈{1,−1}，x∈Xx\in \mathcal{X}x∈X。 问题引入 定义 EinE_{\text{in}}Ein​ 表示训练误差（in-sample error）。令 h∈Hh \in \mathcal{H}h∈H 为一个模型，例如 h(x)=sgn⁡(wTx+b)h(x) = \operatorname{sgn}(w

引例 课上通过如下几个例子引出表示定理相关内容。 SVM 在带松弛变量的 SVM 表示中， min⁡w∑i∈[n]max⁡(0,1−yi(wTxi+b))+λ∥w∥2\min_w \sum_{i \in [n]} \max(0, 1-y_i(w^T x_i+b)) + \lambda \left\| w \right\|^{2} wmin​i∈[n]∑​max(0,1−yi​(wTxi​+b)

前言 国庆的时候断断续续用 IDA 强拆了前六个炸弹便没再管了。本着为自己负责的原则，在这里把所有炸弹好好再拆一遍。 先用 objdump 把可执行文件反汇编到 bomb.asm 中。 打开 bomb.c 看看： 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505

本文主要涉及支持向量机（Support Vector Machine）以及对偶理论。 一键回城。 本文所涉及部分用了 3 个课时来讲述，内容较多。 带约束的优化问题 先介绍一般性的优化问题，进而引出 K.K.T 条件。 等式约束下的优化问题 min⁡xf(x)\min_x f(x)minx​f(x)，s. t. h(x)=0h(x)=0h(x)=0，其中 f,hf,hf,h 都可微。 ∀

本文主要涉及机器学习中的模型选择，以及偏差-方差分解。 一键回城。 模型选择（Model Selection） 在利用机器学习相关技术解决实际问题的时候，模型的选择是尤为重要的。 一般而言，会将全部数据的 80%80\%80% 用于训练（训练集），10%10\%10% 用于验证（验证集，validation set），最后 10%10\%10% 用于测试（测试集，test set）。 如果

本文主要涉及逻辑回归（Logistic Regression）及相关拓展。 一键回城。 问题描述 虽然叫“回归”，但是实际是用于处理二分类（binary classification）问题的。记号约定与之前类似：x∈Rdx \in \mathbb{R}^dx∈Rd，但是 y∈{0,1}y \in \{0,1\}y∈{0,1}，f(x)=wTx+bf(x) = w^Tx + bf(x)=wT

本文主要涉及线性回归（Linear Regression） 一键回城。 基本定义 记号约定： D={(xi,yi)}D = \{(x_i,y_i)\}D={(xi​,yi​)} 为训练集，其中 xi∈Rd,y∈Rx_i \in \mathbb{R}^d,y\in \mathbb{R}xi​∈Rd,y∈R； 线性模型：f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b，其

前言 要死掉了 Random 前置知识 随机算法的流程：无偏估计->P[ALG is correct] >= Constant -> 多次重复降低失败率 算法 1：最大割的 2 - 近似，每次随机选点加入 SSS，重复若干次 Median Trick：若一个黑盒能以 p>0.5p>0.5p>0.5 概率正确回答某个 Yes/No 问题答案，那么可以通过重复