Chinaunix首页 | 论坛 | 博客
  • 博客访问: 4584873
  • 博文数量: 1214
  • 博客积分: 13195
  • 博客等级: 上将
  • 技术积分: 9105
  • 用 户 组: 普通用户
  • 注册时间: 2007-01-19 14:41
个人简介

C++,python,热爱算法和机器学习

文章分类

全部博文(1214)

文章存档

2021年(13)

2020年(49)

2019年(14)

2018年(27)

2017年(69)

2016年(100)

2015年(106)

2014年(240)

2013年(5)

2012年(193)

2011年(155)

2010年(93)

2009年(62)

2008年(51)

2007年(37)

分类: IT职场

2014-03-26 17:57:00

文章来源:http://blog.csdn.net/xiazdong/article/details/7950087
本文会讲到:
 
(1)另一种线性回归方法:Normal Equation;
(2)Gradient Descent与Normal Equation的优缺点;


前面我们通过Gradient Descent的方法进行了线性回归,但是梯度下降有如下特点:
(1)需要预先选定Learning rate;
(2)需要多次iteration;
(3)需要Feature Scaling;

因此可能会比较麻烦,这里介绍一种适用于Feature数量较少时使用的方法:Normal Equation;

当Feature数量小于100000时使用Normal Equation;
当Feature数量大于100000时使用Gradient Descent;

Normal Equation的特点:简单、方便、不需要Feature Scaling;


其中Normal Equation的公式:

 
其中
 
表示第i个training example;
表示第i个training example里的第j个feature的值;
m为#training example;
n为#feature;

举个实际的例子:


阅读(633) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~