《神经网络与深度学习》(三) 皇冠国际编码 – Flippedkiki

   皇冠国际

转自:

从先前的文字中念书

UFLDL课程

是否本人把输出不可避免的和输出相当的限度局限松劲,同时,本人专心致志直线性代数到达企图基的理念。,即O = a11 + a22+….+ ann, Φi是基,ai系数是,本人可以说服为了的使最优化成绩。:

Min |I – O|,我指的是输出。,O表现输出。。

经过求解大约最优表达,本人可以说服系数A。i根底直径i,这些系数和基执意输出的其余的一种相近表达。

终于,它们可以用来表现输出I。,大约诉讼程序也自动行为念书的。。是否本人将L1的不变的性约束添加到上面的表达中,说服:

Min |I – O| + u*(|a1| + |a2| + … + |an |)

这种办法称为皇冠国际法。 Coding。俗名,它是一组喷射器作为一组基的直线性结成。,它只需要量小量的碱基来代表喷射器。。“皇冠国际性”下定义为:极琐碎的非零元素或极少数元素。。需要量系数 ai 是皇冠国际的意思执意说:就一组输出矢量,本人只祝福尽量少的系数,很大于零。。选择专心致志具有皇冠国际性的身分来表现本人的输出消息是有出现的,因压倒的多数感官消息,像,类型图像。,它可以表现为小量根本元素的叠加。,在图像中,这些根本元素可以是面部或办法。。同时,像,与初级视皮层的类比诉讼程序也IM。,但就稍许地图像或收入仅敷支出的,很琐碎的神经细胞鼓动。,其他人有监禁遗产。。

皇冠国际编码算法是一种无监视念书办法,它被用来寻觅一组超成熟基矢量来表现SAMPL。。还是主身分辨析技术(PCA)可以使本人找到一,又这边本人祝福做的是找到一组“超成熟”基矢量来表现输出矢量(也执意说,基矢量的全部效果大于输出矢量的维数。。过成熟碱基的优点是它们在寻觅中更无效。。可是,在四周超成熟基,系数ai不再由输出矢量决议。。终于,在皇冠国际编码算法中,本人另加了一以为规范“皇冠国际性”来处置因超成熟而通向的变质(degeneracy)成绩。

像,在图像的特点中。 吸引的欢呼必须做的事收入仅敷支出的。 探针的发生,因而这边的任务是类型的。 随机选择图像到达企图一转眼,经过这些补丁产品,他们可以特性描述他们的根底。,这是一直8×8=64的根底。,于是做一受考验。 patch, 本人可以本着上面的式子经过basis的直线性结成说服,皇冠国际 矩阵是A。,下图中A有64个维度。,单独的3个非零进入。,它奢侈地皇冠国际。。

Sparse 编码分为两节。:

1)锻炼阶段:假设整数的范本图片[X1, x 2, …],本人需要量念书一组碱基[ pH 1。, Φ2, …],那是一本字典。。

皇冠国际编码是k-means算法的变体,锻炼诉讼程序也相似物的(EM算法思惟):是否要使最优化的企图功用使具体化两个变量,如L(W), B),于是本人可以先恢复的它。,整洁的B使L最小。,于是恢复的B。,整洁的W以最小L,这种迭代更迭停止。,将L推到最小的。

锻炼诉讼程序是一重复迭代的诉讼程序。,按上面比方说,本人更迭地改观A和φ以最小后面的企图功用。

每个迭代分为两个踩。:

a)规则字典[K],于是整洁的[k],上表,也执意说,企图功用是最小的(即求解)。。见下

b)于是恢复的A。 [k],整洁的直径 [k],上表,也执意说,企图功用是最小的(即凸QP)。。见下

不息迭代,直到收敛。为了,本人就可以说服一组能地租地代表大约落山的O。,那是一本字典。。

2)编码阶段:给一成为的相片,从上面如愿以偿的词典,经过解一套索成绩说服皇冠国际矢量a。大约皇冠国际矢量执意大约输出矢量x的一皇冠国际表达了。

像:

套索成绩

专心致志数理统计学学样板无效地开掘MA传达。在样板的正面的,为了增加鉴于缺少要紧孤独而通向的样板用绞船索牵引,通常你选择尽量多的情节。。可是,在建模诉讼程序中,本人需要量找到一组孤独变量Wi。,也执意说,由情节选择(调选择)、场选择)增殖解说容量和预测准确的。指数的选择是统计学建模到达企图一恰好是要紧的成绩。。套索算法是一种可以理想化的事物标准集的作出评价办法。。

蒂布希尼(1996)举起套索() Least Absolute Shrinkage and Selectionator 运算符)算法。该算法经过解释惩办功用说服一精炼样板。;经过终极决定稍许地标准的系数为零,LASSO算法到达了理想化的事物标准集的企图。。这是处置复杂共线消息的有偏作出评价。。套索的根本思惟是回归的完全的积和。,最小残差平方和,终于,绝对的能与之比拟的东西0的稍许地回归系数可以是Gen。,强解说样板。RR统计学软件LAS算法的程序包。基金样板改良的需要量,消息开掘任务者可以依赖套索算法。,用AIC原则和B改良统计学样板的变化的集,到达降维的企图。终于,套索算法是一种可专心致志于消息开掘的实际算法。。套索是一直线性样板。,用于评价皇冠国际系数下的消息类型。。套索算法在决定因素全部效果小的制约下纠纷常有益的的。,它可以无效地增加消息过失。。

  原文在这边。,

凸QP成绩

在普通制约下,一些功用的大局最优值都很难求解。。但就倘若类型的功用——凸功用(凸) 功用, 本人可以无效地处置它的大局最优值。。无效一词指的是处置实际成绩。,它可以在多项的复杂时期内求解。。 这类功用最要紧的成绩是凸使最优化成绩。 Optimal 成绩)

凸集的下定义:一集中C

“>C是凸集,当且仅当有x,yC

“>x,yCθR

“>θRR且0θ1

“>0θ1,都有

θx+(1θ)yC

“>θx+(1θ)yC.

其几意思符合,在集中C中,取两点。,衔接两点的直线上的任性点也在集中中。。上面是凸集和非凸集的包围。:

公共凸集:n维真的片刻;稍许地定额约束模式的集中。;仿射子片刻;凸集的并集;n维半定矩阵集;凸使最优化的一键入理念是凸功用。。

凸功用的下定义:一功用f:RnR

“>f:RnR当且仅当其下定义掷还设置为D(f)

“>D(f)它是凸集。, 为所欲为。x,yD(f)

“>x,yD(f)和θR

“>θR0θ1

“>0≤θ≤1,都有

f(θx+(1θ)yθf(x)+(1θ)f(y))

“>f(θx+(1θ)yθf(x)+(1θ)f(y))

f(x)

“>f(x)为一元功用,因而上表的几意思符合,使弯曲上任性两点上的割线都在功用使弯曲威胁。,公共凸功用具有指数的功用。f(x)=axa<1

“>f(x)=axa>1)、负对数功用f(x)=logaxa<1x<0

“>f(x)=logaxa>1x>0)、吐艳等两大功用。。

赡养了凸集和凸功用的下定义。,现时本人将主旨论述凸使最优化成绩的求解办法。。凸使最优化的普通特性描述:

f(x)=axa<1

“>f(x)=logaxa<1x<0

“>时髦的f(x)

“>f(x)为凸功用,C

“>C它是凸集。,这是一缺少约束的凸使最优化成绩。。在四周约束成绩,它普通被特性描述为:

f(x)=axa<1

“>f(x)=logaxa<1x<0

“>f(x)

“>C

“>f(x)=axa<1

“>f(x)=logaxa<1x<0

“>f(x)

“>C

“>时髦的f(x)

“>f(x)为凸功用,gi(x)

“>gi(x)对所一些i

“>iI是凸功用。,hj(x)

“>hj(x)都是仿射功用。。小心gi(x)

“>gi(x)不均等到达企图不均等关系。

凸成绩的大局使最优化:率先,本人需要量区别是什么局部的最优。,是什么大局最优?。局部的最优是指与T接近度点对应的功用值。 二者都大于最优值。,大局最优性是指实际的域到达企图所其中的一部分。,其功用值二者都大于最优值。。在四周凸使最优化成绩,它有一恰好是要紧的特点。, 也执意说,一切局部的最优解都是大局最优的。。

(1)直里程标(直线性) Programing, LP) 企图功用和约束条件功用都是直线性的。,普通模式列举如下:

(2)两个编程(二次编程) Programing, QP) 企图功用是二阶功用。,约束条件是直线性功用。,普通模式是:

LP可以评价QP的一战例。,QP使具体化LP。

(3)两个约束的二次编程(二次编程) Constrained Quadratic Programming, QCQP) 企图功用和约束都是 两个功用的探察,QP可以被以为是QCQP的一战例。,QCQP使具体化QP。

(4)半定编程(半随机) Programming,SDP)QCQP可以评价是SDP的一战例。,SDP使具体化QCQP。SDP在machine 念书有钱人恰好是广为流传地的专心致志。。

让本人来看一眼稍许地包围。。
(1)支援矢量机(支援) Vector Machines,支援矢量机:机具到达企图凸使最优化 支援矢量机混合物在念书到达企图类型专心致志, 它可以经过以下使最优化成绩来表现。:

时髦的方针决策变量wRn,ξRn,bR

“>wRn,ξRn,bR. CR,x(i),y(i),i=1,2,,m

“>CR,x(i),y(i),i=1,2,,m由 倘若成绩下定义。可以看出,这是一类型的QP成绩。。

(2)最小约束条件 平方成绩:它普通被特性描述为

这也一类型的QP成绩。。

(3)消瘦 Likelihood for Logistic Regression:成绩的企图功用是g(z)

“>g(z)G(z)是乙状功用。,

在四周凸使最优化成绩,眼前,还缺少普通的解析表达。 处置方案,又本人依然可以用非解析的办法来无效的求解很多成绩。验证了内点法是一种地租的办法。, 特殊实际。,在稍许地成绩上,它可以是多项的时期复合物。,要求求解准确的。

没有评论

发表评论

电子邮件地址不会被公开。 必填项已用*标注