Chinaunix首页 | 论坛 | 博客
  • 博客访问: 7204288
  • 博文数量: 510
  • 博客积分: 12019
  • 博客等级: 上将
  • 技术积分: 6836
  • 用 户 组: 普通用户
  • 注册时间: 2005-08-01 16:46
文章分类

全部博文(510)

文章存档

2022年(2)

2021年(6)

2020年(59)

2019年(4)

2018年(10)

2017年(5)

2016年(2)

2015年(4)

2014年(4)

2013年(16)

2012年(47)

2011年(65)

2010年(46)

2009年(34)

2008年(52)

2007年(52)

2006年(80)

2005年(22)

分类: Python/Ruby

2017-10-07 09:49:30

1、张量tensor 和 flow
   张量 多为数组,Flow(流)意味着基于数据流图的计算

2、神经元 
   一个神经元有多个输入和一个输出

3、神经网络结构
 不同神经元之间的链接结构,比如卷积

4、隐藏层    
在输入层和输出层之间的神经网络

5、前向传播算法
    对输入层,进行层层推到计算,最终得到输出层的过程

6、后向传播算法
  指的是对神经网络(结构参数)的优化过程。通过损失函数评价,对神经元中的参入调整取值的过程。
   就是求得神经网络中参数的过程  ,或者理解成确定模型的过程

7、监督学习
    在已经知道答案的数据集上,模型给出的结果尽量接近真实答案

8、深度学习
  通过   多层次   非线性变换,对复杂数据集合建模的算法过程

9、激活函数
   对线性函数的非线性化。神经网路中通过激活函数实现去线性化
   常见tf.nn.relu     tf.sigmoid

10、损失函数
      通过它确保  神经网络模型(参数)的效果,以及来优化网络模型(参数)
     常见:平方差

11、神经网络优化算法
    对网络模型参数的取值的优化过程,以损失函数最小为标准。

12、学习率
    在模型优化过程中 ,控制参数的更新的速度和幅度。量化控制。防止训练的参数在极优值附近来回摆动。
  常见:指数衰减法

13、过拟合问题
     当一个模型过于复杂后,可以很好的记忆每一个训练数据的具体噪音,而忘记训练数据的通用、正特趋势(特征)。形象的看就是没找大共性,过于关注细节。  一般是在损失函数基础上调整。
   常见: 正则化。

14、正则化
     避免过度拟合,在损失函数中加入复杂度 指标 
 
   
阅读(1577) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~