Quasi function
Convex Optimization——Quasi function
Quasi Convex function
定义一
所有αα-sublevel set都是凸的函数
f(x)={√x,x≥0√−x,x≤0
Quasi Convex定义为
Sα={x∈domf|f(x)≤α}convex ∀α∈\R
同样定义Quasi Concave
S′α={x∈domf|f(x)≥α}对于∀α∈\R是convex的
定义Quasi linear
S′′α={x∈domf|f(x)=α}是凸集
Quasi convex优化起来比较容易,尽管不能用convex function方法分析
定义二
拟凸下,有
∀x,y∈domf,max(f(x),f(y))≥f(θ+(1−θ(y)))例子
向量x∈\Rn的长度,定义为x中最后一个非零元素的个数
f(x)={maxi,xi≠0i,x≠00,x=0f(x)是拟凸函数,对于它的α−sublevel set
f(x)≤α→xα+1,xα+2,⋯,xn=0显然是凸集
线性分数函数
f(x)=aTx+bcTx+ddomf={x|cTx+d>0}是拟凸的
Sα→{x|cTx+d>0,aTx+b≤α(cTx+d)}多面体一定是凸集
f(x)=(x1x2⋯xn)1n在\Rn++⋂{∥R∥2≤1}上是凹函数∀x,y∈domf,θ∈(0,1)
θ(x1x2⋯xn)1/n+(1−θ)(y1y2⋯yn)1/n≤n∏i=1θxi+(1−θ)yi1/n向量的0范数(非0元素的个数之和),考虑在一个集合中找稀疏向量
min∥x∥0s.tx∈C这既不是凸问题也不是拟凸问题
考虑近似问题(松弛)
min∥x∥1s.tx∈C变成凸问题
或者用另一种方法近似
f(x)=log(ax2+1)变成
minlogxx+1x∈C是拟凸函数
拟凸函数的其它定义——一阶条件和二阶条件
一阶条件
dom f为凸,并且
f(y)≤f(x)⇔∇Tf(x)(y−x)≤0domf∈\R
Quasi convex具有
max{f(x),f(y)}≥f(θx+(1−θy))则写成
f(x)≥f(θx+(1−θ)y)梯度写成
f′(x)=limt→0f(x+t)−f(x)t=limy→xf(x+(1−θ)(y−x))−f(x)(1−θ)(y−x)写成
f(θx+(1−θ)y)−f(x)(1−θ)(y−x)(1−θ)(y−x)≤0θ→1f′(x)(y−x)≤0⇐得证
考虑
max{f(y),f(x)}−f(θx+(1−θ)y)=f(x)−f(θx+(1−θ)y)写成
f(x)−f(θx+(1−θ)y)(1−θ)(x−y)(1−θ)(x−y)=f′(x)(x−y)≥0(这个证明貌似只是在θ→1)成立?这里貌似要推广到∀θ∈(0,1)
在第21讲中修正,需要证明
∀x,y∈domf,f(y)≤f(x),θ∈[0,1]max{f(x),f(y)}≤f(θx+(1−θ)y)令 z=θx+(1−θ)y,我们证明
f(z)≥f(x)→f(x)=f(z)如果有f(z)≥f(x),则
f(x)≤f(z),f(y)≤f(z)同时得到
f′(z)(y−z)≤0f′(z)(x−z)≤0带入z,得到
f′(z)(θ(y−x))≤0→f′(z)(y−x)≤0f′(z)((1−θ)(x−y))≤0→f′(z)(x−y)≤0因此有
f′(z)=0则总是存在z1,满足
f(z1)≥f(x)同时f′(z1)=0,并且对于∀z′∈[x,z],这个结论都成立
对于convex function,如果有∇f(x)=0,则∀y,f(y)≥f(x)
这个结论对于Quasi function并不成立
对于定义域内均可微的函数,是否最小点一定有∇f(x)=0?
二阶条件
如果f为拟凸函数,dom f为凸,且
yT∇f(x)≥0(每个元素都非负)一定有
yT∇2f(x)y≥0n = 1 的情况,如果y≠0,则f′(x)≥0
如果不满足拟凸函数的二阶条件,则不为二阶条件
Log concave && Log convex
定义
f(\Rn→\R)为log concave,若f(x)>0,∀x∈domf,且logf为凹函数
Relations between log concave
- f为log convex,则f为convex
- f为concave,则f为log concave