现代信号处理学习笔记
系统学习 信号处理 0 900

在本课程中,一般用X(n)Xn表示随机序列,用x(n)xn表示X(n)的分布函数和概率密度函数的自变量。在不涉及分布函数和概率密度函数的情况下,本课程也经常用x(n)xn表示随机序列。

离散时间随机信号分析

随机序列的统计描述

随机序列的概率描述

随机序列的一维概率分布函数和一维概率密度函数:
FXn(xn)=P(Xnxn) fXn(xn)=FXn(xn)xn 不同时刻的随机变量之间往往不是孤立的,它们之间存在某种关联性。为了更加完整地描述随机序列,需要用到二维及多维统计特性。 随机序列的二维分布函数和二维概率密度函数:
FXn,Xm(xn,xm)=P(Xnxn,Xmxm) fXn,Xm(xn,xm)=2FXn,Xm(xn,xm)xnxm N维:
FX1,X2,xN(x1,x2,,xN)=P(X1x1,X2x2,,XNxN) fX1,X2,XN(x1,x2,,xN)=NFX1,X2,XN(x1,x2,,xN)x1x2xN 概率分布函数和概率密度函数能够对随机序列进行完整的描述,但是在实际中往往无法得到它们。因此,需要引入随机序列的数字特征来描述随机序列。

随机序列的数字特征

数学期望:

mX(n)=E[Xn]=xfXn(x)dx

均值、方差及其关系:

E[|Xn|2]=|x|2fXn(x)dx
σX2(n)=E[|XnmX(n)|2]
σX2(n)=E[|Xn|2]|mX(n)|2

相关函数和协方差函数:
在随机序列不同时刻的状态之间,存在着关联性,或者说不同时刻的状态之间互相有影响,包括随机序列本身或者不同随机序列之间。

:

rXX(n,m)=E[XnXm]=xnxmfXn,Xm(xn,xm)dxn dxm
cov(Xn,Xm)=E[(XnmXn)(XmmXm)]=rXX(n,m)mXnmXm

对于零均值随机序列: cov(Xn,Xm)=rXX(n,m)

:

rXY(n,m)=E[XnYm]=xnymfXm,Ym(xn,ym)dxn dym
cov(Xn,Ym)=E[(XnmXn)(YmmYm)]=rXY(n,m)mXnmYm

对于零均值随机序列: cov(Xn,Ym)=rXY(n,m)

平稳随机序列及其数字特征

严平稳随机序列: 它的N维概率分布函数或N维概率密度函数与时间n的起始位置无关。换句话说,统计特性不随时间的平移而发生变化。
FX1+k,X2+k,XN+k(x1+k,x2+k,,xN+k)=FX1,X2,XN(x1,x2,,xN)


宽平稳随机序列: 它们的均值却不随时间而改变,而它们的相关函数仅是时间差的函数。

  1. 平稳随机序列x(n)的一维概率密度函数与时间无关,因此它们的均值、均方值和方差均与时间无关。
  2. 二维概率密度函数仅决定于时间差,与起始时间无关,因此自相关函数与自协方差函数是时间差的函数。

    • :
      rxx(m)=E[x(n)x(n+m)]

      covxx(m)=E[(x(n)mx)(x(n+m)mx)]=rxx(m)|mx|2
      rxy(m)=rxy(n,n+m)=E[x(n)y(n+m)]
    • :
      covxy(m)=E[(x(n)mx)(y(n+m)my)]=rxy(m)mxmy

    • 性质:
      rxx(m)=rxx(m)

      rxy(m)=ryx(m)

      自协方差函数和互协方差函数也类似。。。

  3. 随机序列正交: rxy(m)=0

  4. 随机序列互不相关(线性无关):
    covxy(m)=0rxy(m)=mxmy E[x(n)y(n+m)]=E[x(n)]E[y(n)]=E[x(n)]E[y(n+m)]

实(宽)平稳随机序列:

  1. 自相关函数和自协方差函数是m的偶函数

    rxx(m)=rxx(m),covxx(m)=covxx(m)rxy(m)=ryx(m),covxy(m)=covyx(m)
  2. rxx(0)在数值上等于随机序列的平均功率:

    rxx(0)=E[x2(n)]
    rxx(0)|rxx(m)|
    rxy(0)|rxy(m)|
  3. 平稳随机序列内部的相关性随着时间差的变大,越来越弱

    limmrxx(m)=mx2
    limmrxy(m)=mxmy
  4. 协方差与方差的关系

    covxx(0)=rxx(0)mx2=E[x2(n)]mx2=σx2

平稳随机序列的功率谱密度

平稳随机序列是非周期函数,且是能量无限信号,因此无法直接利用傅里叶变换进行分析。 :
Pxx(z)=m=rxx(m)zm rxx(m)=12πjcPxx(z)zm1dz rxx(m)=rxx(m)Pxx(z)=Pxx(1z)

:
Pxy(z)=m=rxy(m)zm Pxy(z)=Pyx(1z)

根据上式极点特性, 可知收敛域包含单位圆,相关函数的傅立叶变换存在: Pxx(ejω)=m=rxx(m)ejωm

rxx(m)=12πππPxx(ejω)ejωm dωrxx(0)=12πππPxx(ejω)dω

:
实平稳序列x(n)的功率谱密度具有下列性质: 1. 功率谱是ω的偶函数: Pxx(ejω)=Pxx(ejω)=rxx(0)+2m=1rxx(m)cos(ωm) rxx(m)=1π0πPxx(ejω)cos(ωm)dω 3. 功率谱是实的非负函数, 即: Pxx(ejω)0

: Pxy(ejω)=m=rxy(m)ejωm

rxy(m)=12πππPxy(ejω)ejωm dω
Pxy(ejω)=Pyx(ejω)

随机序列的各态历经性

时间平均值: x(n)=limN12N+1n=NNx(n)
时间自相关函数: x(n)x(n+m)=limN12N+1n=NNx(n)x(n+m)

如果平稳随机序列的集合平均值与集合自相关函数依概率趋于平稳随机序列样本函数的时间平均值与时间自相关函数
$$ =m_ x=E[X(n)] $$

x(n)x(n+m)=rxx(m)=E[x(n)x(n+m)] 则称该平稳随机序列具有各态历经性。(一般都有)

特定的随机序列

白噪声: 满足
cov(xn,xm)=σxn2δmn 其中
δmn={1m=n 0mnx(n)的任意两个随机变量都不相关,则称该序列为白噪声序列。
平稳白噪声: cov(m)=σ2δ(m) 对于均值为0的平稳白噪声: 功率谱在整个频带上是个常数。
Pxx(ejω)=m=+rxx(m)ejwn=m=σ2δ(m)ejwn=σ2

  1. 只要信号的带宽大于系统的带宽,且在系统的带宽中信号的频谱基本恒定,就可以把信号看作白噪声。
  2. 正态和白色是两种不同的概念,前者是指信号取值的规律服从正态分布, 后者指信号不同时刻取值的关联性。

谐波过程:
x(n)=i=1NAicos(ωin+θi)

其中,Aiωi是常数,θi是服从均匀分布的独立随机变量(p(θi)=12π,π<θiπ)

证明其平稳:

E[x(n)]=A2πππcos(ωn+θ)dθ=0
rxx(n,n+m)=E[x(n)x(n+m)]=A22πππcos(ωn+θ)cos(ω(n+m)+θ)dθ=12A2cos(ωm)

当N大于1,也可证明:

{E[x(n)]=0rxx(m)=i=1N12Ai2cos(ωim)

随机信号的采样定理

对于平稳随机信号,如果其功率谱严格限制在某一有限频带内,该随机信号称为带限随机信号。

低通性带限随机信号: Pxx(Ω)=0,|Ω|Ωc

只要采样频率fs满足: Ωs=2πfs2Ωc 或者 T12fc=πΩc

则有插值公式: X^(t)=n=X(nT)sinΩc(tnT)Ωc(tnT)

可以证明, E[|X(t)X^(t)|2]=0

随机序列数字特征的估计

估计准则

α^=F(x0,x1,x2,,xN1) 估计量的偏移: B=αE[α^] B=0无偏估计; B0有偏估计; limNE[α^]=α渐进无偏估计

估计量的方差: σα^2=E[(α^E[α^])2]

估计量的均方误差: E[α~2]=E[(α^α)2]=B2+σα^2
一致估计: 估计量随N的增大,在均方意义上趋于它的真值。

尽量满足无偏性和一致性。。

均值的估计

m^x=1Ni=0N1xi

偏移: E[m^x]=E[1Ni=0N1xi]=1Ni=0N1E[xi]=mxB=0 无偏估计。。。

方差与均方误差:

方差的估计

自相关函数的估计

无偏自相关函数的估计:

有偏自相关函数的估计:

平稳随机序列的线性系统响应

系统响应的平稳性

数学期望: 如果输入信号是平稳随机序列,那么输出信号的数学期望也与时间无关。 my=E[y(n)]=k=h(k)E[x(nk)]=k=h(k)mx =mxk=h(k)=mxH(ej0)

自相关函数: 线性时不变系统输出的自相关函数等于输入的自相关函数与单位脉冲响应的自相关函数的线性卷积。

系统响应的功率谱密度

v(l)=h(l)h(l)V(z)=H(z)H(1z)
ryy(m)=rxx(m)v(m)Pyy(z)=Pxx(z)V(z)=Pxx(z)H(z)H(1z)

根据Z变换得出傅立叶变化:

Pyy(ejω)=Pxx(ejω)H(ejω)H(ejω)=Pxx(ejω)|H(ejω)|2

对于实序列,则有: v(l)=h(l)h(l)Pyy(z)=Pxx(z)H(z)H(z1)

系统的输入、输出互相关函数

输入、输出之间的互相关函数等于系统的单位脉冲响应与输入的自相关函数的卷积。

rxy(m)=E[x(n)y(n+m)]=E[x(n)k=h(k)x(n+mk)]=k=h(k)E[x(n)x(n+mk)]=k=h(k)rxx(mk)=h(m)rxx(m)

互功率谱密度:

rxy(m)=h(m)rxx(m)Pxy(ejω)=H(ejω)Pxx(ejω)

相关卷积定理

卷积的相关等于相关的卷积: ryy(m)=rxx(m)v(m)

对于两个序列的互相关函数也成立:

rxy(m)=ruv(m)rgh(m) 其中, x(n)=u(n)g(n), y(n)=v(n)h(n), rgh(m)=n=+g(n)h(n+m)

输入、输出相关卷积定理:

x(n)=x(n)δ(n),y(n)=x(n)h(n)
rxy(m)=rxx(m)rδh(m),rδh(m)=n=+δ(n)h(n+m)=h(m)
rxy(m)=rxx(m)h(m)

输出互相关函数与输入互相关函数, 互功率谱:

求系统输出的自相关函数和功率谱

时间序列的信号模型

平稳随机序列x(n)可以看作是由均值为零的白噪声w(n)激励一个线性时不变系统H(z)(p阶IIR滤波器)产生的:

x(n)+a1x(n1)++apx(np)=w(n)+b1w(n1)++bqw(nq)

其中w(n)是均值为0,方差为σw2的白噪声

三种时间序列信号模型

滑动平均模型(MA: Moving Average): 该模型是一个全零点模型(FIR滤波器),没有除原点以外的极点。如果模型的全部零点都在单位圆的内部,那么该系统是一个最小相位系统,且模型是可逆的。 x(n)=w(n)+b1w(n1)++bqw(nq) H(z)=B(z)=1+i=1qbizi

自回归模型(AR: Auto-Regressive): 该模型是一个全极点模型(IIR滤波器),没有除原点以外的零点。只有当模型的全部极点都在单位圆的内部时,该系统才是因果稳定的。 x(n)+a1x(n1)++apx(np)=w(n) H(z)=1A(z)=11+i=1paizi 自回归-滑动平均模型(ARMA: Auto-Regressive Moving Average): 系统函数分子称为MA部分,分母称为AR部分,它们无公因式,且应分别满足稳定性和可逆性的条件。ARMA模型可以看作AR模型和MA模型的级联。

三种信号模型的适用性

沃尔德(Wold)分解定理(关于MA):
x(n)=u(n)+v(n) v(n)是具有连续谱分布函数的平稳随机MA序列(ARMA也具有MA性质),MA部分常常是有限阶的。

AR模型的普遍适用性: 任意一个MA序列可用无限阶AR信号模型表示,或者用阶数足够大的AR信号模型近似表示。 X(z)=B(z)W(z)B1(z)=1B(z)=11+b1z1+b2z2++bqzq

B1(z)=G(z)=1+g1z1+g2z2+G(z)X(z)=W(z) 同一序列用不同信号模型表示,效率不同,系数越少,效率越高。

系统函数与模式转换: AR模型适合表示时间序列的功率谱有尖峰而没有深谷的信号,MA模型适合表示其功率谱有深谷而没有尖峰的信号,ARMA模型则适合尖峰和深谷都有的情况。
此外,AR模型比其它两种模型的计算简单,因此得到了广泛应用。只要AR模型的阶数足够高,其近似性也比较好。

信号模型的功率谱

有理谱信号:

谱分解定理:

时间序列计算自相关函数与功率谱密度:

功率谱密度计算系统函数:

维纳滤波

维纳滤波器的标准方程

只考虑加性噪声的线性时不变系统:

x(n)=s(n)+v(n)
y(n)=x(n)h(n)
d(n)=s(n)
y(n)=s^(n)

可以把y(n)是看成是对d(n)的估计,这样可以将h(n)看作是一个估计器,也就是说滤波的目的就是要得到期望信号d(n)的一个最佳估计。

  1. 维纳滤波以估计的结果与信号真值之间的误差的均方值最小作为最佳准则。
  2. 维纳滤波根据估计对象不同,分为三类: 滤波、预测、平滑。

维纳滤波器的标准方程

e(n)=d(n)y(n)=d(n)kh(k)x(nk)
E[|e(n)|2]=E[|d(n)y(n)|2]=E[|d(n)kh(k)x(nk)|2]
E[|e(n)|2]hk=0,hk=ak+ibkE[|e(n)|2]ak+jE[|e(n)|2]bk=0

系统的均方误差达到最小值的充要条件是误差信号e(n)与任一进入估计的输入信号x(n)正交,这就是通常所说的正交性原理。

代入d(n),得到维纳-霍夫(Wiener-Hopf)方程: E[x(nk)d(n)]=ih(i)E[x(nk)x(ni)] rxd(k)=ih(i)rxx(ki)=h(k)rxx(k)

FIR维纳滤波器的求解

原理

例题

IIR维纳滤波器的求解

非因果IIR维纳滤波器的求解

因果IIR维纳滤波器的求解

例题

功率谱估计

功率谱的定义与性质

信号的能量谱与功率谱

能量谱:
根据Parseval定理,

n=|x(n)|2=12πππ|X(ejω)|2 dω

若级数收敛,那么x(n)为能量型信号,|X(ejω)|2称为能量谱密度(能量对频率的导数)

功率谱:
若不收敛,则必有

n=NN|x(n)|2=12πππ|XN(ejω)|2 dω

有限长序列的功率谱密度:

12N+1n=NN|x(n)|2=12πππ12N+1|XN(ejω)|2 dω

更一般的:

limN12N+1n=NN|x(n)|2=12πππlimN12N+1|XN(ejω)|2dω

随机信号的功率谱密度

limN12N+1n=NNE[|x(n)|2]=12πππlimN12N+1E[|XN(ejω)|2]dω

随机序列x(n)的平均功率:

limN12N+1n=NNE[|x(n)|2]

功率谱密度:

Pxx(ejω)=limN12N+1E[|XN(ejω)|2]=limNE[12N+1|n=NNx(n)ejωn|2]

对于平稳随机序列,则有 E[|x(n)|2]=rxx(0)rxx(0)=12πππPxx(ejω)dω 因此,rxx(0)E[|x(n)|2]就是平稳随机序列x(n)的平均功率

维纳-辛钦定理

Wiener-Khintchine定理: 平稳随机过程的自相关函数和功率谱密度之间存在傅立叶变换的关系 Pxx(ejω)=m=+rxx(m)ejωm

证明:

实平稳随机序列功率谱密度的性质

  1. 功率谱是非负的实函数(对非平稳随机序列也成立): Pxx(ejω)=limN12N+1E[|XN(ejω)|2]0
  2. 功率谱是关于ω的偶函数: rxx(m)=rxx(m)Pxx(ejω)=Pxx(ejω)

现代功率谱估计

谱估计的现代方法主要是以随机过程的参数模型为基础的, 因此也可以将其称为参数模型方法,简称模型方法。分为三个步骤: 1. 为被估计的随机过程选择一个合理的信号模型; 2. 根据观测得到的有限个数据,估计模型的参数; 3. 用估计得到的模型参数计算功率谱;

随机过程x(n)可以用有理函数模型很好的逼近:
x(n)=i=1paix(ni)+i=0qbiw(ni)

H(z)=B(z)A(z)=i=0qbizi1+i=1paizi

其中,w(n)是均值为0,方差为σw2的高斯白噪声, ai是反馈支路系数(AR系数), bi是前馈支路系数(MA系数)。

Pxx(z)=Pww(z)H(z)H(1z)=σw2H(z)H(1z)
Pxx(ejω)=σw2H(ejω)H(ejω)=σw2|H(ejω)|2

h(n)为实因果序列时,

Pxx(z)=σw2H(z)H(z1)=σw2B(z)A(z)B(z1)A(z1)

模型选择

在现代谱估计中,要求选择的模型能够表示出谱峰、谱谷 和频谱的滚降。对于具有尖峰的谱,应该选用具有极点的模型, 如 AR 和 ARMA 模型;对于具有平坦的谱峰和深谷的信号 , 可 以选用MA模型;既有极点也有零点的谱应选用 ARMA模型 。 相对地说,ARMA模型的适用范围较宽。对于滚降太快的谱, 没有一种模型可以准确地表示功率谱 , 可以选用高阶的 AR 模 型近似表示。

选择模型的另一个考虑是尽量减少模型的参数 。这也取决 于模型的选择是否合适。如果模型的选择不合适,那么只有提 高阶数才能得到较近似的谱,这样需要估计的参数增多,就会 降低谱估计的质量。因此应该在选择合适模型的基础上,尽量 减少模型的参数。

模型参数与自相关函数之间的关系

ARMA模型的系数与自相关函数之间的关系:

AR模型的系数与自相关函数之间的关系:

MA模型的系数与自相关函数之间的关系:

AR谱估计方法

在实际应用中,我们无法得到自相关函数的准确值,只能获取有限的x(n)观测数据,所以AR(p)模型的参数可以用以下两类方法计算:

  1. 先用数据xN(n)估计出(p+1)个自相关函数值,再将其代入Yule-Walker方程,计算AR(p)模型的参数。
  2. 利用最小二乘准则,直接由数据xN(n)AR(p)模型的参数,这类方法包括自相关法、协方差法和Burg法。

自相关法

协方差法

例题

附录

附录1: 常见公式

  1. 线性卷积和
    y(n)=i=x(i)h(ni)=x(n)h(n)
  2. 确定性信号的自相关函数
    rgg(m)=n=g(n)g(n+m)
  3. 线性时不变系统输出的自相关函数等于输入的自相关函数与单位脉冲响应的自相关函数的线性卷积
    ryy(m)=rxx(m)v(m)
  4. Yule-Walker方程

附录2: Z变换

定义

正变化:

X(z)=Z{x[n]}=n=x[n]zn
z=Aejϕ=A(cosϕ+jsinϕ)

反变化:

x[n]=Z1{X(z)}=12πjCX(z)zn1dz

收敛域:

ROC={z:|n=x[n]zn|<}

性质

常见变换

附录3: 试卷1

附录4: 试卷2

附录5: 参考资料

编写
预览