本文主要涉及支持向量机（Support Vector Machine）以及对偶理论。 一键回城。 本文所涉及部分用了 3 个课时来讲述，内容较多。 带约束的优化问题 先介绍一般性的优化问题，进而引出 K.K.T 条件。 等式约束下的优化问题 min⁡xf(x)\min_x f(x)minx​f(x)，s. t. h(x)=0h(x)=0h(x)=0，其中 f,hf,hf,h 都可微。 ∀

本文主要涉及机器学习中的模型选择，以及偏差-方差分解。 一键回城。 模型选择（Model Selection） 在利用机器学习相关技术解决实际问题的时候，模型的选择是尤为重要的。 一般而言，会将全部数据的 80%80\%80% 用于训练（训练集），10%10\%10% 用于验证（验证集，validation set），最后 10%10\%10% 用于测试（测试集，test set）。 如果

本文主要涉及逻辑回归（Logistic Regression）及相关拓展。 一键回城。 问题描述 虽然叫“回归”，但是实际是用于处理二分类（binary classification）问题的。记号约定与之前类似：x∈Rdx \in \mathbb{R}^dx∈Rd，但是 y∈{0,1}y \in \{0,1\}y∈{0,1}，f(x)=wTx+bf(x) = w^Tx + bf(x)=wT

本文主要涉及线性回归（Linear Regression） 一键回城。 基本定义 记号约定： D={(xi,yi)}D = \{(x_i,y_i)\}D={(xi​,yi​)} 为训练集，其中 xi∈Rd,y∈Rx_i \in \mathbb{R}^d,y\in \mathbb{R}xi​∈Rd,y∈R； 线性模型：f(x)=wTx+bf(x) = w^Tx + bf(x)=wTx+b，其

前言 要死掉了 Random 前置知识 随机算法的流程：无偏估计->P[ALG is correct] >= Constant -> 多次重复降低失败率 算法 1：最大割的 2 - 近似，每次随机选点加入 SSS，重复若干次 Median Trick：若一个黑盒能以 p>0.5p>0.5p>0.5 概率正确回答某个 Yes/No 问题答案，那么可以通过重复

向前-向后数学归纳法 某种比较神秘的数学归纳法变体。形式如下： 当一个命题满足如下条件时： 命题关于无穷多个自然数成立； 当 n=k+1n=k+1n=k+1 时命题成立可以推知 n=kn=kn=k 时命题成立。 则命题对全体自然数成立。 比较常见的想法是，证明命题对于 n=2kn=2^kn=2k 成立，然后证明 k+1  ⟹  kk+1\implies kk+1⟹k。比如均值不等式： 1n∑

是写给自己看的备忘录，如果有写的不清楚的东西见谅（ 真的很感谢助教大人，他们帮到了我很多。 Intro to Calculational Programming Specification 可以理解为“目的”一类的东西。 describes what task an algorithm is to perform, expresses the programmers’ intent, sh

期中有小点寄，加训。 太长了所以拆成了好几篇。 3b1b 的一些观后感见这里。 第一章至第二章的小总结在这里。 向量空间 拆成了若干几部分。 第一部分：向量空间的基本定义/线性相关与线性无关 第二部分：向量组的极大无关组与秩 第三部分：子空间的基/维数与矩阵的秩 第四部分：线性方程组的解 矩阵的运算 我们容易验证，同阶的矩阵是满足线性空间的八大公理的，所以构成线性空间。数域 KKK 上全体

Here's something encrypted, password is required to continue reading.

救救期中。。 三角函数的一些公式 tan⁡2x+1=sec⁡2x\tan^{2}x+1=\sec^{2}xtan2x+1=sec2x 是很重要的关于 tan⁡x\tan xtanx 的处理，很多时候和 dtan⁡x=sec⁡2xdx\mathrm{d}\tan x = \sec^{2} x \mathrm{d}xdtanx=sec2xdx 一起处理问题。 然后是三角函数的 Reduction F