zdf's blog

Jul 9, 2016

eg-

edge
egg

acu-/ag-

acute
acuity
acumen
acupuncture
aglet
eglantine

acm-

acme
acne

acro-

acrobat
acrophobia
- claustrophobia
- agoraphobia
  - aggregate
  - congregate
- hydrophobia
- hysteria
acropolis
acronym
acromegaly

acri-

acrid
acrimony
acrimonious
vinegar
eager

acerb-

acerbic
acerbity
exacerbate

aci-

acid
acidulate
acidulous

acet-

acetum
acetic
acetate

acanth-

acanthus
tragacanth
pyracantha

oxy-

amphioxus
oxyuriasis
paroxysm
oxygen

Mar 23, 2016

Machine Learning Summary Section Three

Last Section

Mar 19, 2016

Machine Learning Summary Section Two

Last Section

多变量线性回归 Linear Regression with Multiple Variable

$h_{\theta}(x)=\theta_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + … + \theta_{n}x_{n}$
$x_{0} = 1$ , $h_{\theta}(x)=\theta_{0}x_{0} + \theta_{1}x_{1} + \theta_{2}x_{2} + … + \theta_{n}x_{n}$
$h_{\theta}(x)=\theta^{T}X$

特征缩放 Feature scaling

make sure features are on a similar scale
get every feature into approximately a $-1\leq x_{i} \leq +1$ range
mean normalization 均值归一化 $ x_{i} = \frac{x_{i} - \mu_{i}}{s_{i}} $ . ($ \mu_{i} $ is avg and $ s_{i} $ can be $ max - min $ or standard deviation )

学习率 Learning rate

making sure gradient descent is working correctly. $ J(\theta) $ should decrease after every iteration.
$ J(\theta)-iteration $ 曲线上升或波动，需要降低学习率。学习率要适中，过小会导致梯度下降的太慢
To try $ \alpha $, try … 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1, 3 …

特征与多项式回归 Features and Polynomial Regression

线性回归并不能拟合所有数据，我们要使用其他模型来进行拟合

正规方程 Normal Equation

对于某些线性回归问题，我们可以使用正规方程来解决。复杂度为 $O(n^{3})$
训练集特征向量$X$(其中$x_{0} = 1$), 训练集结果为向量y
利用正规方程解出向量 $\theta = (X^{T}X)^{-1}X^{T}y$
$X^{T}X$ 是为了构成方阵，只有方程才有逆。$X\theta = y$

Octave or Matlab

基本操作
移动数据
计算数据
绘图数据
控制语句与函数
向量化

逻辑回归 Logical Regression

逻辑回归模型的假设 $h_{\theta}(x) = g(\theta_{T}X)$
Sigmod Function $ g(z) = \frac{1}{1 + e^{-z}} $
逻辑回归的代价函数 $J(\theta) = \frac{1}{m} \sum_{i = 1}^{m}Cost(h_\theta(x^{(i)}),y^{(i)})$
化简后 $Cost(h_\theta(x),y) = -y \times log(h_\theta(x)) - (1-y) \times log(1 - h_\theta(x))$
fminunc
one-vs-all 取 $max(h_\theta(x))$ 为分类结果

正则化 Regularization

过拟合 Overfitting 高方差
过拟合解决方案
- 减少特征变量个数(Manully select which features to keep or use model select alogrithm)
- 正则化
正则化在线性回归和逻辑回归中的应用 \lamda

Next Section

Feb 21, 2016

Chrome视频缓存查找方法

通过这个方法来查看缓存，下载网页上的视频

在C:\Users\Dongfang\AppData\Local\Google\Chrome\User Data\Default\Pepper Data\Shockwave Flash是.tmp文件，复制一下，改后缀(这里的缓存关掉视频播放页面后就会删除)
按F12，或右键选择”审查元素”打开”开发者工具”，在Network里可以找到视频地址，用下载工具下载即可（可在此查看视频后缀名）
用插件，我用的是FVD Video Downloader（用插件也可下载视频）

注:Dongfang 为windows用户名

发现发布post时，时间要合理，否则不会显示在博客上

Jan 13, 2016

Machine Learning Summary Section One

机器学习的定义

由Tom Mitchell提出，来自卡内基梅隆大学，Tom定义的机器学习是，一个好的学习问题定义如下，他说，一个程序被认为能从经验E中学习，解决任务T，达到性能度量值P，当且仅当，有了经验E后，经过P评判，程序在处理T时的性能有所提升。

监督学习 Supervised Learning

回归 Regression
- predict continuous valued output
分类 Classification
- discrete valued output

无监督学习 Unsupervised Learning

聚类
鸡尾酒宴会问题
- $[W,s,v] = svd((repmat(sum(x.*x,1),size(x,1),1).*x)*x');$

单变量线性回归 Linear Regression with One Variable

训练集 Training Set
假设 hypothesis
代价函数 Cost Funciton
梯度下降 Gradient Descent

Example:

Hypothesis : $h_{\theta}(x)={\theta}_1 + {\theta}_2 \times x$

Cost Funciton : $J(\theta_1,\theta_2)=\frac{1}{2m}\sum_{i = 1}^{m}(h_\theta(x^{(i)})-y^{(i)})^2$

批量梯度下降算法 batch gradient descent algorithm

算法

For the upper example, it has

repeat until convergence {
$\theta_j := \theta_j - \alpha \frac{\partial}{\partial\theta_j} J(\theta_0,\theta_1)$
}

$\alpha$ 是学习率 learning rate
局部最优
- $\theta$ 最终会收敛，偏导数为 $0$