声振论坛

 找回密码
 我要加入

QQ登录

只需一步,快速开始

查看: 2077|回复: 1

[数学理论] 正则化(regularization)基本概念和相关书籍整理

[复制链接]
发表于 2015-9-29 21:14 | 显示全部楼层 |阅读模式

马上注册,结交更多好友,享用更多功能,让你轻松玩转社区。

您需要 登录 才可以下载或查看,没有账号?我要加入

x
正则化(regularization)在线性代数理论中,不适定问题通常是由一组线性代数方程定义的,而且这组方程组通常来源于有着很大的条件数的不适定反问题。大条件数意味着舍入误差或其它误差会严重地影响问题的结果。反问题有两种形式。最普遍的形式是已知系统和输出求输入,另一种系统未知的情况通常也被视为反问题。许多反问题很难被解决,但是其他反问题却很容易得到答案。显然,易于解决的问题不会比很难解决的问题更能引起人们的兴趣,我们直接解决它们就可以了。那些很难被解决的问题则被称为不适定的。一个不适定问题通常是病态的,并且不论是简单地还是复杂地改变问题本身的形式都不会显著地改善病态问题。另一方面,病态问题不一定是不适定的,因为通过改变问题的形式往往可以改善病态问题。在严格的数学意义上,我们通常不可能对不适定问题进行求解并得到准确解答。然而,通过使用我们的先验知识,我们通常有希望能够得到一个接近准确解答的答案。
  求解不适定问题的普遍方法是:用一族与原不适定问题相“邻近”的适定问题的解去逼近原问题的解,这种方法称为正则化方法。如何建立有效的正则化方法是反问题领域中不适定问题研究的重要内容。通常的正则化方法有基于变分原理的Tikhonov 正则化、各种迭代方法以及其它的一些改进方法,这些方法都是求解不适定问题的有效方法,在各类反问题的研究中被广泛采用,并得到深入研究。
  正则化:Normalization,代数几何中的一个概念。
  通俗来说,就是给平面不可约代数曲线以某种形式的全纯参数表示。
  即对于PC^2中的不可约代数曲线C,寻找一个紧Riemann面C*和一个全纯映射σ:C*→PC^2,使得σ(C*)=C
  严格的定义如下:
  设C是不可约平面代数曲线,S是C的奇点的集合。如果存在紧Riemann面C*及全纯映射σ:C*→PC^2,使得
  (1) σ(C*)=C (2) σ^(-1)(S)是有限点集 (3) σ:C*\σ^(-1)(S)→C\S是一对一的映射
  则称(C*,σ)为C的正则化。不至于混淆的时候,也可以称C*为C的正则化。
  正则化的做法,实际上是在不可约平面代数曲线的奇点处,把具有不同切线的曲线分支分开,从而消除这种奇异性。


正则化方法 Regularization Method
正则化算子 regularizing operator
物理学中,尤其是量子场论,正则化(regularization)是一项处理无限大、发散以及一些不合理表示式的方法,其方法透过引入一项辅助性的概念——正则化因子(regulator)。举例来说,若短距离物理效应出现发散,则设定一项空间中最小距离来解决这情形。正确的物理结果是让正则化因子消失(此例是) 的极限情形,不过正则化因子的用意就在于当它是有限值,理论结果也是有限值的。正则化是将数学中的发散级数的可和性方法(summability methods)用在物理学问题上。
然而,理论结果通常包含了一些项,是正比于例如的式子,若取极限则会没有良好定义。正则化是获得一个完整、有限且有意义的结果的第一步;在量子场论,通常会接着一个相关但是独立的技术方法称作重整化(renormalization)。重整化则是基于对一些有着类似表示式的物理量的要求,要求其应该等于观测值。如此的约束条件则允许我们计算一些看似发散的物理量的有限值


图像复原从数学角度考虑,它等价于第一类fredholm积分方程,是一种反问题,具有很大的病态性,因此,必须进行正则化处理。从统计的角度看,正则化处理其实就是一种图像的先验信息约束。假设图像退化过程用如下模型描述:
g=hf+n (1)
则图像复原即根据观测图像g恢复原始图像f。正则化图像复原从贝叶斯角度来说,可以用map(最大后验概率估计)方法实现,即:
f=argmax{p(f|g)=p(g|f)p(f)/p(g)} (2)
先验分布函数 p(f)可以看成一正则化项。图像复原关键问题是先验模型p(f) 的选取,也可以说图像建模在图像复原中起者中心作用。早期的图像复原方法假设服从平稳高斯分布,从而导致约束最小二乘图像复原方法;但许多统计试验表明大部分自然图像都不能用平稳高斯分布准确的描述,模型的不准确导致复原的图像质量较差,图像边缘不能很好的保持。mrf (markov random field)在图像复原中起很重要的作用,如果将原始图像看作mrf的一次实现,根据mrf的局部性,可以用局部gmrf(gauss markov random field)对图像进行建模,按照这种方式建立的模型比用平稳高斯分布更为准确,因此所复原的质量也较好。现代很多人热衷于小波变换的图像复原,其原因是图像的小波系数可近似认为互相独立,且能够用简单的统计模型描述(如广义高斯分布等)。我认为小波在图像复原中主要起工具的作用,现在关于小波方法进行图像复原,研究重点应放在对小波系数的统计建模(如小波系数尺度间、尺度内、方向间的相关性等)。由于一般正交小波变换不具有平移不变性和方向较少的特点,基于这些不足,现在的发展是在其他变换域内建立模型,如(冗余小波变换,复小波变换,脊波,曲波等)这仍是一个正在发展的课题,关于对这些变换域系数进行统计建模用于图像复原能够弥补正交小波变换的不足,然而重点仍是对变换系数的统计建模。
正如我们如上所说,图像建模对图像复原起很重要的作用。然而,从计算复杂度的角度考虑,一个好的模型常导致计算上的困难。因为一个好的模型最终导致一个(2)式有多个极值点,从而在计算上必须用一些全局优化算法(如模拟退火等),这导致很大的计算量。
综上分析,图像复原需要两方面的知识需要考虑:1统计建模的知识2计算方法的知识。两者任一方面的改进,都会推动图像复原的发展。因此,必须懂得数理统计,贝叶斯分析,随机场,优化算法,矩阵论,小波分析等数学课程。
回复
分享到:

使用道具 举报

 楼主| 发表于 2015-9-29 21:14 | 显示全部楼层
测量中不适定问题的正则化解法
作者: 王振杰
出版社: 科学出版社
出版日期: 2006-10
市场价: ¥36.0
不适定问题的正则化解法在测量实践中得到了越来越广泛的应用。本书作者充分考虑测量实际,对测量中不适定问题的正则化解法进行了系统阐述和研究,并突出强调了正则化解法的物理意义。主要内容包括:GPS与Galil eo的系统分析、测量中不适定问题的统一表达、病态性分析及克服病态性的常用方法,克服病态性的改进算法、单频GPS快速定位中病态问题的新解法、半参数模型中正则化矩阵的选取方法、高精度GPS基线处理中系统误差的分离、适合变形监测的GPS单频单历元算法等。
第1章 GPS与Galile0卫星定位系统
 1.1 GPS系统
 1.2 Galile0系统
 1.3 Galileo与GPS在竞争中发展
 1.4 GPs和Galile0系统联合的优势
第2章 GPS定位基本概念
 2.1 概述
 2.2 GPS伪距测量
 2.3 GPS载波相位测量
 2.4 GPS绝对定位
 2.5 GPS相对定位
 2.6 GPS快速定位方法
第3章 测量中不适定问题的定义以及解的统一表达
 3.1 测量中不适定问题的定义
 3.2 不适定问题解的统一表达
 3.3 解的统一表达式的推导
 3.4 解的统一表达式的启迪
 3.5 小结
第4章 病态性分析及克服病态性的方法
 4.1 病态性及其分析
 4.2 病态性产生的原因及诊断方法
 4.3 处理病态性的常用方法
 4.4 克服病态性的几种新方法
第5章 克服病态性的改进算法研究
 5.1 用L曲线法确定岭估计中的岭参数
 5.2 病态问题的两步解法
 5.3 一种新的病态问题奇异值修正方案
第6章 单频GPS快速定位中病态问题的新解法
 6.1 概述
 6.2 单频GPs快速定位中病态方程的一般解法
 6.3 单频GPS快速定位中解算病态方程的MINE I方案
 6.4 单频GPs快速定位中解算病态方程的MINEⅡ方案
 6.5 算例及分析
 6.6 单频GPs快速定位中ARcE方法的改进
 6.7 小结
第7章 半参数模型中正则化矩阵的选取方法-
 7.1 半参数模型简介
 7.2 正则化矩阵足选取方法的探讨
 7.3 讨论和小结
第8章 高精度GPS基线处理中系统误差的分离
 8.1 基于向量半参数模型的系统误差的分离方法
 8.2 基于参数变换和选群拟合的系统误差的分离方法
 8.3 讨论与小结
第9章 一种适合单频GPS接收机的变形监测单历元算法
 9.1 概述
 9.2 单频单历元算法
 9.3 结束语
参考文献
附录 矩阵论的有关知识
 1 几种常用矩阵
 2 矩阵的数值特征
 3 几种矩阵运算
 4 矩阵的分解
 5 矩阵条件数不等式



不适定问题的正则化方法及应用
作者: 刘继军
出版社: 科学出版社
出版日期: 2005-09
市场价: ¥28.0
本书以自封闭的形式系统介绍了线性不适定问题的正则化求解方法,以及在数学物理反问题研究中的一些应用。主要内容包括:不适定问题的基本概念和特点,研究不适定问题需要的基本数学工具和方法,求解不适定问题的标准的正则化方法及近年来的新发展,以及正则化方法在逆时热传导、数值微分、逆散射等领域中的应用。本书的内容包含了作者和其他学者近几年来的有关工作。
第1章适定问题和不适定问题
1.1物理问题的描述方法
1.2问题适定性
1.3反问题和不适定问题
1.4反问题和气候数值预报
1.5不适定问题的例子及难点
第2章预备理论
2.1赋范空间若干结果
2.2有界算子和紧算子
2.3Riesz理论和Fredholm理论
2.4线性积分算子
2.5紧算子的谱理论
第3章线性问题解的正则化方法
3.1般的正则化理论
3.2允许的昨α=α(δ)的取法
3.3q(α,μ)曲的取法
3.4Tikhonov正则化方法
3.5拟解和相容性原理
3.6Landweber迭代正则化
3.7条件稳定性和正则化参数选取
3.8线性反问题正则化参数的迭代选取
3.9求正则化参数的模型函数方法
3.10两类正则化方法的比较
第4章离散化的正则化方法
4.1般的投影方法
4.2Galerkin方法
4.3配置方法
4.4投影方法的应用
4.4.1Laplace方程边值问题的势函数解法
4.4.2Galerkin方法解Symm方程
4.4.3配置方法解Symm方程
4.4.4解Symm方程的数值实验
第5章正则化方法应用
5.1逆时热传导问题
5.1.1逆时热传导问题不适定性
5.1.2逆时问题的正则化方法
5.1.3维逆时问题数值结果
5.1.4维逆时问题数值结果
5.2数值微分问题
5.2.1样条插值方法
5.2.2光滑化方法
5.2.3积分算子方法
5.3声波逆散射问题的正则化求解
5.3.1波场的散射问题
5.3.2由远场近似数据求散射波近场正则化方法
5.3.3数值试验
5.3.4求散射场的近似模型函数方法
5.4基本解的Runge逼近
5.4.1Helmholtz方程基本解的Runge逼近
5.4.2逼近的数值实现
参考文献



数学物理方程及其近似方法
作者: 程建春编
出版社: 科学出版社
出版日期: 2005-02
市场价: ¥58.0
第一章 数学物理方程的基本问题
1. 1 数学物理方程的分类及一般性问题
1. 1. 1 基本概念:古典解和广义解
1. 1. 2 两个自变量二阶线性方程的分类和化简
1. 1. 3 多个自变量线性方程的分类和标准型
1. 1. 4 数学物理方程的一般性问题
1. 2 波动方程与Cauchy问题的适定性
1. 2. 1 波动方程的Cauchy问题
1. 2. 2 非齐次波动方程和推迟势
1. 2. 3 能量不等式和Cauchy问题的适定性
1. 2. 4 混合问题解的惟一性和稳定性
1. 3 Laplace方程与Helmholtz方程
1. 3. 1 二个自变量的Laplace方程
1. 3. 2 调和函数的基本性质
1. 3. 3 边值问题的适定性
1. 3. 4 Helmholtz方程与辐射问题
1. 4 热传导方程与定解问题的适定性
1. 4. 1 热传导方程的Cauchy问题
1. 4. 2 一维热传导方程的混合问题
1. 4. 3 混合问题的适定性
1. 4. 4 三类典型方程定解问题提法比较
习题一
第二章 本征值问题和分离变数法
2. 1 Hilbert空间及完备的正交函数集
2. 1. 1 Hilbert空间和函数空间L2[a, b
2. 1. 2 完备的正交归一函数集
2. 1. 3 有限区间上的完备系:Legendre多项式
2. 1. 4 单位球面上的完备系:球谐函数
2. 2 本征值问题和Sturm-Liouville系统
2. 2. 1 Hermite算子及本征值问题
2. 2. 2 Sturm-liouville系统
2. 2. 3 Sturm-Liouville多项式系统
2. 2. 4 Hermite多项式与Laguerre多项式
2. 3 有界区域内定解问题的分离变数法
2. 2. 1 波动方程的齐次混合问题
2. 3. 2 热传导方程的齐次混合问题
2. 3. 3 椭圆方程的边值问题
2. 3. 4 非齐次问题的本征函数展开
2. 4 正交曲线坐标系小本征值问题的分离变数
2. 4. 1 球坐标系中的本征方程
2. 4. 2 柱坐标系中的本征方程
2. 4. 3 椭圆-双曲柱坐标
2. 4. 4 柱函数:Bessel函数的几种不同形式
2. 5 无穷区域混合问题的分离变数法
2. 5. 1 波动方程的Cauchy问题
2. 5. 2 Laplace方程的边值问题
2. 5. 3 二维轴对称波动力方程
2. 14
应用于平板的光热激发
习题二
第三章 Creen函数方法
3. 1 广义函数及函数
3. 1. 1 广义函数概念和运算法则
3. 1. 2 广义函数的导数
3. 1. 3 广义函数的Fourier变换
3. 1. 4 弱收敛和广义解
3. 2 二阶常微分方程的Green函数
3. 2. 1 Gauchy问题的Green函数
3. 2. 2 边值问题的Green函数
3. 2. 3 非齐次Sturm-Liouville边值问题
3. 2. 4 广义Green函数
3. 3 高维边值问题的Green函数
3. 3. 1 非齐次问题的积分公式
2. 3. 1 Helmholtz方程的Green函数
3. 3. 3 无界空间的Green函数和基本解
3. 3. 4 镜像法求边值问题的Green函数
3. 4 混合问题的含时Green函数
3. 4. 1 热导方程的Green函数
3. 4. 2 波动方程的Green函数
3. 4. 3 Cauchy问题的基本解
3. 4. 4 混合问题Green函数的镜像法
3. 5 广义Green公式及非齐次问题的积分解
3. 5. 1 共轭算子及广义Green公式
3. 5. 2 椭圆型方程的Green函数
3. 5. 3 抛物型方程的Green函数
3. 5. 4 双曲型方程的Green函数
习题三
第四章 变分近似方法
4. 1 变分法的基本问题
4. 1. 1 泛函和泛函极值的基本概念
4. 1. 2 多个变量的变分问题
4. 1. 3 变端点问题和自然边界条件
4. 1. 4 泛函的条件极值问题
4. 1. 5 Hamilton原理与最小位能原理
4. 2 变分法在本征值问题中的应用
4. 2. 1 Hermite算子本征值问题与泛函极值问题的等价
4. 2. 2 完备性定理的证明
4. 2. 3 极值定理
4. 2. 4 Ritz和Galerkin法解本征值问题
4. 3 变分法在边值问题中的应用
4. 3. 1 边值问题与泛函极值问题的等价
4. 3. 2 变分解的存在性与广义解
4. 3. 3 Ritz法解边值问题
4. 3. 4 Galerkin法及非齐次边值问题
4. 4 变分的其他近似方法
4. 4. 1 Kantorovich法
4. 4. 2 最速下降法与有界正定算子
4. 4. 3 最小平方法及Courant法
4. 4. 4 共轭梯度法
习题四
第五章 积分方程基本理论
5. 1 积分方程的形成及分类
5. 1. 1 Volterra积分方程的形成
5. 1. 2 Fredholm积分方程的形成
5. 1. 3 Abel方程及第一类积分方程的适定性
5. 1. 4 非线性积分方程的形成
5. 2 积分方程的迭代法和有限秩近似
5. 2. I 第二类Fredholm方程的迭代法
5. 2. 2 Banach空间第二类Fredholm方程的迭代技术
5. 2. 3 可分核方程和有限秩核近似
5. 2. 4 非线性积分方程的迭代法
5. 3 L2[a, b 空间中的积分方程
5. 3. 1 Hermite对称的平方可积核
5. 3. 2 第二类Fredholm积分方程及微扰论
5. 3. 3 平方可积Hermite对称核的极值性质
5. 3. 4 本征值问题的有限秩近似
5. 3. 5 一般平方可积核
5. 4 积分变换及应用于解积分方程
5. 4. 1 Fourier变换及逆变换
5. 4. 2 Laplace变换及逆变换
5. 4. 3 Hankel变换及逆变换
5. 4. 4 Hilbert变换及逆变换
习题五
第六章 微扰理论
6. 1 本征值问题的微扰
6. 1. 1 算子本身的微扰
6. I. 2 简并态的微扰
6. 1. 3 边界条件的微扰
6. 1. 4 区域微扰
6. 2 正则微扰
6. 2. 1 一致有效展开
6. 2. 2 非一致有效展开和参数变形法
6. 2. 3 参数变形法应用于非线性振动和波动
6. 2. 4 多尺度展开法
6. 3 奇异微扰及边界层理论
6. 3. 1 边界层理论的基本思想
6. 3. 2 二阶线性方程的边值问题
6. 3. 3 非线性微扰引起的边界层
6. 3. 4 高维边值问题的边界层
6. 4 WKB近似和应用
6. 4. 1 WKB近似
6. 4. 2 Liouville-Green变换
6. 4. 3 具有转折点的本征值问题
6. 4. 4 WKB近似的应用
习题六
第七章 数学物理方程的逆问题
7. 1 逆问题基本概念和分类
7. 1. 1 逆问题基本概念
7. 1. 2 方程逆问题分类
7. 1. 3 不适定问题的正则化方法
7. 1. 4 第一类Fredholm积分方程的正则化方法
7. 2 脉冲谱技术 PST
7. 2. 1 PST的基本原理
7. 2. 2 光热测量中热导系数的反演
7. 2. 3 应用于二维波动方程的逆问题
7. 2. 4 应用于环境污染控制的逆源问题
7. 3 本征值逆问题
7. 3. 1 本征值的渐近特征
7. 3. 2 本征值逆问题的惟一性
7. 3. 3 热导方程系数逆问题的惟一性
7. 3. 4 数值方法
7. 4 波动方程的逆散射
7. 4. 1 波的散射和远场特性
7. 4. 2 边界反演的Kirchhoff近似
7. 4. 3 非均匀介质反演的Born和Rytov近似
7. 4. 4 二维近场逆散射成像理论
习题七
第八章 非线性数学物理方程
8. 1 典型非线性方程及其行波解
8. 1. 1 Burgers方程及冲击波
8. 1. 2 KdV方程及孤立波
8. 1. 3 非线性Nein-Gordon方程
8. 1. 4 非线性Schrodinger方程
8. 2 Hopf-Cole变换和Hirota方法
8. 2. 1 Burgers方程的Hopf-Cole变换
8. 2. 2 KdV方程的广义Hopf-Cole变换
8. 2. 3 KdV-Burgers方程的广义Hopf-Cole变换
8. 2. 4 Hirota方法
8. 3 逆散射方法
8. 3. 1 一维Schrodinger方程的逆散射问题
8. 3. 2 解KdV方程初值问题的基本思想
8. 3. 3 KdV方程初值问题的孤立子解
8. 3. 4 Lax理论
8. 4 Backlund变换
8. 4. 1 Backlund变换的基本思想
8. 4. 2 Sine-Gordon方程的自Backlund变换
8. 4. 3 KdV方程的自Backlund变换
8. 4. 4 非线性叠加公式




反问题的数值解法/计算方法丛书
作者: 肖庭延 于慎根 王彦飞著
出版社: 科学出版社
出版日期: 2005-01
市场价: ¥30.0
本书系统介绍了数学物理反问题求解的正则化方法,主要包括适定与不适定问题的基本概念:反问题、不适定性及其与第一类算子方程的联系,基于算子广义逆理论的各种推广,几种提高正则解精度和计算效率的迭代正则化方法、离散正则化方法,各种正则化算法的数值实现,带有工程、物理与经济应用背景有启发性的实例,在附录中给出了最近的国内外研究成果和示范性MALAB语言源程序。
第一章 绪论
1. 1 反问题与第一类算子方程
1. 2 第一类算子方程的不适定性
1. 3 求解第一类算子方程的基本思路
第二章 基于变分原理的正则化方法
2. 1 关于选择法与拟解法
2. 2 稳定泛函与正则化
2. 3 近似解的正则性条件
2. 4 确定正则参数的后验策略
2. 5 对求解第一类积分方程的应用
2. 6 在Hilbert空间中的处理和结果
第三章 第一类卷积型方程的正则解
3. 1 积分变换数值反演的不适定性
3. 2 稳定因子与正则化
3. 3 正则参数的确定
3. 4 一些注记
第四章 基于谱分析的正则化理论
4. 1 关于谱分析和广义逆的基本结果
4. 2 线性紧算子的奇异值分解
4. 3 滤波函数与正则化
4. 4 正则解的误差估计
4. 5 正则参数的选择(续)
第五章 迭代正则化方法
5. 1 Landweber迭代法
5. 2 正则化的半迭代法
5. 3 共轭梯度 CG 法
5. 4 迭代Tikhonov正则化
第六章 有限维近似与离散正则化方法
6. 1 问题的有限维逼近
6. 2 作为正则化策略的投影法
6. 3 离散正则化方法
第七章 正则化方法的快速数值实现
7. 1 离散Euler方程的三对角化
7. 2 决定正则参数的高阶收敛算法
7. 3 离散正则化与快速Fourier变换
7. 4 迭代正则化方法的实施
第八章 若干应用实例
8. 1 病态线性方程组的求解
8. 2 带限信号的正则化重建与外推
8. 3 黑体辐射的正则反演
8. 4 Abel变换的数值反演
8. 5 第一类Symm积分方程的求解
8. 6 二维Fredholm方程的求解实例
8. 7 线性统计模型参数的正则化估计
8. 8 简要评述
参考文献
附录A 一些预备知识
A. 1 关于谱表示定理的一些基本知识
A. 2 有关正交多项式的一些知识
附录B 若干MATLAB源程序
B. 1 基于偏差原则用Newton法决定正则参数的源程序
B. 2 基于Engl误差极小化原则用Newton法决定正则参数的源程序
B. 3 基于偏差原则和快速算法决定正则参数的源程序
附录C 非线性反问题及其数值解法简介
C. 1 引言
C. 2 几种常用的方法描述
C. 3 正则化的Gauss-Newton型方法
您需要登录后才可以回帖 登录 | 我要加入

本版积分规则

QQ|小黑屋|Archiver|手机版|联系我们|声振论坛

GMT+8, 2024-12-29 05:01 , Processed in 0.056974 second(s), 17 queries , Gzip On.

Powered by Discuz! X3.4

Copyright © 2001-2021, Tencent Cloud.

快速回复 返回顶部 返回列表