excel极值标准化(极值标准化方法)

1. 极值标准化方法

所谓离群值就是异常值，这个和极值其实并不一样。常用的剔除离群值的方法有MAD、

、百分位法。参考资料：数据预处理（上）之离群值处理、标准化、数据预处理（下）之中性化

2.MAD算法

MAD，即median absolute deviation，可译为绝对中位值偏差。其大致思想是通过判断每一个元素与中位值的偏差是否处于合理的范围内来判断该元素是否为离群值。具体方法如下：

（1）计算所有元素的中位值

（2）计算所有元素与中位值的绝对偏差：

（3）取得绝对偏差的中位值

（4）确定参数n，则可以对所有的数据作如下调整：

在这里我没有调整离群值，而是直接将其剔除了。

代码如下：

import numpy as np

# MAD法: media absolute deviation

def MAD(dataset, n):

median = np.median(dataset) # 中位数

deviations = abs(dataset - median)

mad = np.median(deviations)

remove_idx = np.where(abs(dataset - median) > n * mad)

new_data = np.delete(dataset, remove_idx)

return new_data

2.

法

法又称为标准差法。标准差本身可以体现因子的离散程度，和MAD算法类似，只是

法用到的不是中位值，而是均值，并且n的取值为3，代码如下：

# 3sigma法

def three_sigma(dataset, n= 3):

mean = np.mean(dataset)

sigma = np.std(dataset)

remove_idx = np.where(abs(dataset - mean) > n * sigma)

new_data = np.delete(dataset, remove_idx)

return new_data

3.百分位法

百分位计算的逻辑是将因子值进行升序的排序，对排位百分位高于97.5%或排位百分位低于2.5%的因子值，类似于比赛中”去掉几个最高分，去掉几个最低分“的做法。代码如下：这里参数采用的是20%和80%，具体取值，还需具体情况具体分析。

# 百分位法:原始参数 min=0.025， max=0.975

def percent_range(dataset, min= 0.20, max= 0.80):

range_max = np.percentile(dataset, max * 100)

range_min = -np.percentile(-dataset, (1 - min) * 100)

# 剔除前20%和后80%的数据

new_data = []

for value in dataset:

if value < range_max and value > range_min:

new_data.append(value)

return new_data

这三个方法思路简单，易于实现，但是只能处理一维数据，接下来，再考虑更复杂但却更精准的可适用于多维数据的离群值处理方法！参考资料：离群点检测---基于kNN的离群点检测、LOF算法和CLOF算法

2. 极值标准化和均值标准化

代表值是通过公式计算出来的，利用均方差及平均值。算出的代表值应大于合格值，且每个数据都不能小于极值，才合格。

你可以看质量检验评定标准。比如你压实度检测六个点，最终算出的代表值是98，这个代表值一定要大于规定的合格值，并且这六点压实度，每个点的值都不能小于极值94。厚度那个-8代表值大于合格值-15，所以合格。

3. 极值法数据标准化

各评价指标由于各自量纲的不同，并且指标间数值差异较大，要使指标间能够直接进行比较，要对各类指标进行标准化处理，消除量纲差别，最后将得到值域为（0，1），而且极性一致的数值。对于单因素定性指标按照质量等级赋予离散代数值；对于连续性变化的定量指标，采用相应质量等级的指标范围中值作为标准化指数的基数。

选择合适的标准化方法应坚持标准化方法的比较原则，即同一指标内部相对差距不变原则、不同指标间的相对差距不确定原则、标准化后极大值相等原则。按照上述原则，指标数据的标准化处理方法可划分为线性标准化和非线性标准化两大类，具体方法有：初值化变换、均值化变换、极值化变换、标准差变换等，本书采用线性标准化极值化变换方法，分析调整了标准化计算公式，将原始数据计算处理后得到新的均一化数列。设现状原始数据为Y，标准化后的现状值为X，对指标体系中的每一项评价指标数据划出最大值（Y）和最小值（Y），按照质量等级由优等到差等，标准化指数升高的原则，设定差等级标准化指数最高X=1.00，则标准化计算公式：

正向指标：

基坑降水工程的环境效应与评价方法

反向指标：

基坑降水工程的环境效应与评价方法

经验证符合指标标准化的三大原则。表3.1所示为指标量化分级及标准化指数。

表3.1 基坑降水环境评价指标量化分级及标准化指数

4. 极值标准化方法有哪几种

方法1：min-max法（规范化方法）

min-max法也叫离差标准化，是对原始数据的线性变换，使结果映射到[0,1]区间。

方法2：z-score法（正规化方法）

这种方法基于原始数据的均值（mean）和标准差（standard deviation）进行数据的标准化。将A的原始值x使用z-score标准化到y。

z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。

SPSS默认的标准化方法就是z-score标准化。

z-score的简单化模型：y=1/(1+x) ，x越大证明y越小，这样就可以把很大的数规范在[0-1]之间了。

在Excel中进行z-score标准化的步骤如下：

1.求出各变量（指标）的算术平均值（数学期望）xi和标准差si ；

2.进行标准化处理：zij=（xij－xi）/si

其中：zij为标准化后的变量值；xij为实际变量值。

3.将逆指标前的正负号对调。

标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。

方法3：比例法（归一化方法）

注意该方法是针对全部数据为正值的序列。

5. 极值标准化方法 未达到权重值

气相色谱保留时间的长短与目标物与固定相之间的作用力有关。所以固定相不同的时候，出来的顺序是不同的。

使用非极性或者弱极性固定相，作用力以色散力为主，色散力由分子量大小决定。乙酸乙酯分子量比乙醇大，所以保留时间比乙醇长。

使用强极性固定相时，作用力是色散力与诱导力之和。乙醇的偶极矩比乙酸乙酯大，所以诱导力更强。但是乙醇的色散力较弱。所以出来的先后顺序要看二者谁占优势。极性越强，诱导力的权重越大，乙醇的保留时间越长。

固定相有氢键作用时道理同上，而且氢键的强度往往比其他作用力大很多，所以这种柱子上乙醇肯定是在后面的。

6. 极值标准化法公式

解：5×20—4—5x＝70

96—5x＝70

5x＝96—70

5x＝26

×＝26÷5

x＝5.2

解方程的一般方法：

有分母先去分母、有括号就去括号、需要移项就进行移项、合并同类项等。

1、找出方程的未知数，能合并的先合并，能计算的先计算，如果方程里有其他的项里面有数运算的，先运算出来。有括号的一般可以把括号直接去掉，让括号里面的与外面的分别相乘，然后再把含有x的项进行计算。

2、配方就是把一个解析式利用恒等变形的方法，把其中的某些项配成一个或几个多项式正整数次幂的和形式。通过配方解决数学问题的方法叫配方法。用得较多的是配成完全平方式。配方法的应用十分非常广泛，在因式分解、化简根式、解方程、证明等式和不等式、求函数的极值和解析式等方面都经常用到它。

3、 解方程中经常用到的相关性质：在等式的两边同时加上或减去同一个数，等式仍成立。在等式的两边同时乘以或除以同一个数(零除外)，等式仍成立。移项时要注意：把未知数项放在同一边，把常数项放在另一边，移项要改变符号。

7. 极值法标准化处理方法

数据标准化处理是 数据挖掘 的一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的结果，为了消除指标之间的量纲影响，需要进行数据标准化处理，以解决数据指标之间的可比性。原始数据经过数据标准化处理后，各指标即处于同一数量级，适合进行综合对比评价。

极差法

极差法是对原始数据的线性变换，首先计算指标值得最小值、最大值，计算极差，通过极差法将指标值映射到[0-1]之间。公式为：

新数据=(原数据-极小值)/(极大值-极小值)

Z-score标准化法

SPSS默认的数据标准化方法即是Z得分法，这种方法基于原始数据的均值(mean)和标准差(standard deviation)进行数据的标准化。经过处理的数据符合标准正态分布，即均值为0，标准差为1。公式为：

其中μ为所有样本数据的均值，σ为所有样本数据的标准差。

数据标准化的另外一个实用之处

在实际应用中，数据标准化不只是用于指标的可比性处理，还有一些非常实用的用处，利用标准化方法将指标归到最适于我们观测的范围，更加直观。且看案例：

有一组数据，是学生参加某次社会公益活动的数据，其中有一指标为：在校综合评价指数，反映学生在校综合表现水平。

可以看出这个指标的范围为[0-140],但这个范围不太符合我们在学校里的习惯，在学校里经常用[0-100]的百分制，60分以上基本认可为及格，现在这个范围不能直观的反映学生在校表现水平。此时，极差法是一个非常好的选择，我们可以将[0-140]数值，映射到[0-100]，便于直观对比学生的表现。

公式为：(原数据-极小值)/(极大值-极小值)*100

我们再来看看结果：

此时，[0-100]的范围非常符合我们日常的比较标准，能直观的反映学生的在校综合表现，已经达到目的。

8. 极值标准化方法是什么

对于高次多项式，如果不容易分解因式，判断重因式可以用辗转相除法。

设多项式为f(x), 它的导数为f'(x)

如果f(x)有重根a，则f(x)与f'(x)有公因式x-a. 可以用辗转相除法求出f(x)与f'(x)的公因式。

如果它们公因式为常数，就表明没有重根，如果公因式为多项式，则有重根。

1、配方法

所谓配方，就是把一个解析式利用恒等变形的方法，把其中的某些项配成一个或几个多项式正整数次幂的和形式。通过配方解决数学问题的方法叫配方法。其中，用的最多的是配成完全平方式。配方法是数学中一种重要的恒等变形的方法，它的应用十分非常广泛，在因式分解、化简根式、解方程、证明等式和不等式、求函数的极值和解析式等方面都经常用到它。

2、因式分解法

因式分解，就是把一个多项式化成几个整式乘积的形式。因式分解是恒等变形的基础，它作为数学的一个有力工具、一种数学方法在代数、几何、三角等的解题中起着重要的作用。因式分解的方法有许多，除中学课本上介绍的提取公因式法、公式法、分组分解法、十字相乘法等外，还有如利用拆项添项、求根分解、换元、待定系数等等。

　3、换元法

换元法是数学中一个非常重要而且应用十分广泛的解题方法。我们通常把未知数或变数称为元，所谓换元法，就是在一个比较复杂的数学式子中，用新的变元去代替原式的一个部分或改造原来的式子，使它简化，使问题易于解决。

4、判别式法与韦达定理

一元二次方程ax2+bx+c=0(a、b、c属于R,a≠0)根的判别，△=b2-4ac,不仅用来判定根的性质，而且作为一种解题方法，在代数式变形，解方程(组)，解不等式，研究函数乃至几何、三角运算中都有非常广泛的应用。

韦达定理除了已知一元二次方程的一个根，求另一根;已知两个数的和与积，求这两个数等简单应用外，还可以求根的对称函数，计论二次方程根的符号，解对称方程组，以及解一些有关二次曲线的问题等，都有非常广泛的应用。

　5、待定系数法

在解数学问题时，若先判断所求的结果具有某种确定的形式，其中含有某些待定的系数，而后根据题设条件列出关于待定系数的等式，最后解出这些待定系数的值或找到这些待定系数间的某种关系，从而解答数学问题，这种解题方法称为待定系数法。它是中学数学中常用的方法之一。

　6、构造法

在解题时，我们常常会采用这样的方法，通过对条件和结论的分析，构造辅助元素，它可以是一个图形、一个方程(组)、一个等式、一个函数、一个等价命题等，架起一座连接条件和结论的桥梁，从而使问题得以解决，这种解题的数学方法，我们称为构造法。运用构造法解题，可以使代数、三角、几何等各种数学知识互相渗透，有利于问题的解决。

　7、反证法

反证法是一种间接证法，它是先提出一个与命题的结论相反的假设，然后，从这个假设出发，经过正确的推理，导致矛盾，从而否定相反的假设，达到肯定原命题正确的一种方法。反证法可以分为归谬反证法(结论的反面只有一种)与穷举反证法(结论的反面不只一种)。用反证法证明一个命题的步骤，大体上分为：(1)反设;(2)归谬;(3)结论。

反设是反证法的基础，为了正确地作出反设，掌握一些常用的互为否定的表述形式是有必要的，例如：是/不是;存在/不存在;平行于/不平行于;垂直于/不垂直于;等于/不等于;大(小)于/不大(小)于;都是/不都是;至少有一个/一个也没有;至少有n个/至多有(n一1)个;至多有一个/至少有两个;唯一/至少有两个。

归谬是反证法的关键，导出矛盾的过程没有固定的模式，但必须从反设出发，否则推导将成为无源之水，无本之木。推理必须严谨。导出的矛盾有如下几种类型：与已知条件矛盾;与已知的公理、定义、定理、公式矛盾;与反设矛盾;自相矛盾。

8、面积法

平面几何中讲的面积公式以及由面积公式推出的与面积计算有关的性质定理，不仅可用于计算面积，而且用它来证明平面几何题有时会收到事半功倍的效果。运用面积关系来证明或计算平面几何题的方法，称为面积方法，它是几何中的一种常用方法。

用归纳法或分析法证明平面几何题，其困难在添置辅助线。面积法的特点是把已知和未知各量用面积公式联系起来，通过运算达到求证的结果。所以用面积法来解几何题，几何元素之间关系变成数量之间的关系，只需要计算，有时可以不添置补助线，即使需要添置辅助线，也很容易考虑到。

　９、几何变换法

在数学问题的研究中，，常常运用变换法，把复杂性问题转化为简单性的问题而得到解决。所谓变换是一个集合的任一元素到同一集合的元素的一个一一映射。中学数学中所涉及的变换主要是初等变换。有一些看来很难甚至于无法下手的习题，可以借助几何变换法，化繁为简，化难为易。另一方面，也可将变换的观点渗透到中学数学教学中。将图形从相等静止条件下的研究和运动中的研究结合起来，有利于对图形本质的认识。

几何变换包括：(1)平移;(2)旋转;(3)对称。

10、客观性题的解题方法

选择题是给出条件和结论，要求根据一定的关系找出正确答案的一类题型。选择题的题型构思精巧，形式灵活，可以比较全面地考察学生的基础知识和基本技能，从而增大了试卷的容量和知识覆盖面。

填空题是标准化考试的重要题型之一，它同选择题一样具有考查目标明确，知识复盖面广，评卷准确迅速，有利于考查学生的分析判断能力和计算能力等优点，不同的是填空题未给出答案，可以防止学生猜估答案的情况。

要想迅速、正确地解选择题、填空题，除了具有准确的计算、严密的推理外，还要有解选择题、填空题的方法与技巧。下面通过实例介绍常用方法。

(1)直接推演法：直接从命题给出的条件出发，运用概念、公式、定理等进行推理或运算，得出结论，选择正确答案，这就是传统的解题方法，这种解法叫直接推演法。

(2)验证法：由题设找出合适的验证条件，再通过验证，找出正确答案，亦可将供选择的答案代入条件中去验证，找出正确答案，此法称为验证法(也称代入法)。当遇到定量命题时，常用此法。

(3)特殊元素法：用合适的特殊元素(如数或图形)代入题设条件或结论中去，从而获得解答。这种方法叫特殊元素法。

(4)排除、筛选法：对于正确答案有且只有一个的选择题，根据数学知识或推理、演算，把不正确的结论排除，余下的结论再经筛选，从而作出正确的结论的解法叫排除、筛选法。

(5)图解法：借助于符合题设条件的图形或图像的性质、特点来判断，作出正确的选择称为图解法。图解法是解选择题常用方法之一。

(6)分析法：直接通过对选择题的条件和结论，作详尽的分析、归纳和判断，从而选出正确的结果，称为分析法。