统计学知识要点汇总2017
四、方差分析
1. 通过分析数据的误差判断各总体均值是否相等;研究一个或多个分类型自变量对一个数值型因变量的影响
单因素方差分析：涉及一个分类的自变量
双因素方差分析：涉及两个分类的自变量
2.(1)仅从散点图上观察还不能提供充分的证据证明不同行业被投诉的次数之间有显著差异
这种差异也可能是由于抽样的随机性所造成的
需要有更准确的方法来检验这种差异是否显著，也就是进行方差分析
所以叫方差分析，因为虽然我们感兴趣的是均值，但在判断均值之间是否有差异时则需要借助于方差
这个名字也表示：它是通过对数据误差来源的分析判断不同总体的均值是否相等。因此，进行方差分析时，需要考察数据误差的来源
(2)随机误差
因素的同一水平(总体)下，样本各观察值之间的差异
比如，同一行业下不同企业被投诉次数是不同的
这种差异可以看成是随机因素的影响，称为随机误差
系统误差
因素的不同水平(不同总体)下，各观察值之间的差异
比如，不同行业之间的被投诉次数之间的差异
这种差异可能是由于抽样的随机性所造成的，也可能是由于行业本身所造成的，后者所形成的误差是由系统性因素造成的，称为系统误差
(3) 数据的误差用平方和(sum of squares)表示
组内平方和(within groups)
因素的同一水平(同一个总体)下样本数据的平方和
比如，零售业被投诉次数的误差平方和
组内平方和只包含随机误差
组间平方和(between groups)
因素的不同水平(不同总体)下各样本之间的平方和
比如，四个行业被投诉次数之间的误差平方和
组间平方和既包括随机误差，也包括系统误差
3.方差分析的基本假定
正态性：每个总体都应服从正态分布
对于因素的每一个水平，其观察值是来自服从正态分布总体的简单随机样本
比如，每个行业被投诉的次数必需服从正态分布
方差齐性：各个总体的方差必须相同
各组观察数据是从具有相同方差的总体中抽取的
比如，四个行业被投诉次数的方差都相等
独立性：观察值是独立的(该假定不满足对结果影响较大)
4.问题的一般提法：(1)设因素有k个水平，每个水平的均值分别用m1 , m2, ¼, mk 表示
(2)要检验k个水平(总体)的均值是否相等，需要提出如下假设：
H0 ： m1 = m2 = …= mk
H1 ： m1 , m2 , ¼，mk 不全相等
5.SST：全部观察值xij与总平均值的离差平方和，反映全部观察值的离散状况
SSA:各组平均值xi与总平均值xij的离差平方和;反映各总体的样本均值之间的差异程度，又称组间平方和;该平方和既包括随机误差，也包括系统误差
SSE:每个水平或组的各样本数据与其组平均值的离差平方和;反映每个样本各观察值的离散状况，又称组内平方和;该平方和反映的是随机误差的大小
总离差平方和(SST)、误差项离差平方和(SSE)、水平项离差平方和 (SSA) 之间的关系:
SST = SSA + SSE
如果原假设成立，则表明没有系统误差，组间平方和SSA除以自由度后的均方与组内平方和SSE和除以自由度后的均方差异就不会太大;如果组间均方显著地大于组内均方，说明各水平(总体)之间的差异不仅有随机误差，还有系统误差
判断因素的水平是否对其观察值有影响，实际上就是比较组间方差与组内方差之间差异的大小
6.均方
各误差平方和的大小与观察值的多少有关，为消除观察值多少对误差平方和大小的影响，需要将其平均，这就是均方，也称为方差
计算方法是用误差平方和除以相应的自由度
三个平方和对应的自由度分别是
SST 的自由度为n-1，其中n为全部观察值的个数
SSA的自由度为k-1，其中k为因素水平(总体)的个数
SSE 的自由度为n-k
7.构造检验统计量
将MSA和MSE进行对比，即得到所需要的检验统计量F
当H0为真时，二者的比值服从分子自由度为k-1、分母自由度为 n-k 的 F 分布
将统计量的值F与给定的显著性水平a的临界值Fa进行比较，作出对原假设H0的决策
² 根据给定的显著性水平a，在F分布表中查找与第一自由度df1=k-1、第二自由度df2=n-k 相应的临界值 Fa
² 若F>Fa ，则拒绝原假设H0 ，表明均值之间的差异是显著的，所检验的因素对观察值有显著影响
² 若F
8.关系强度
变量间关系的强度用自变量平方和(SSA)及残差平方和(SSE)占总平方和(SST)的比例大小来反映
自变量平方和占总平方和的比例记为R2 ,即
3、其平方根R就可以用来测量两个变量之间的关系强度
五、假设检验
(一)概念
先对总体的参数(或分布形式)提出某种假设，然后利用样本信息判断假设是否成立的过程
有参数检验和非参数检验
逻辑上运用反证法，统计上依据小概率原理
什么小概率?
1. 在一次试验中，一个几乎不可能发生的事件发生的概率
2. 在一次试验中小概率事件一旦发生，我们就有理由拒绝原假设
3. 小概率由研究者事先确定
怎样通过假设检验去掉偶然性
利用P值进行检验就可以去掉偶然性。因为P值告诉我们在某个总体的许多样本中，某一类数据出现的经常程度，P值是当原假设正确的情况下，得到所观测的数据的概率。如果原假设是正确的，P值若很小，则告诉我饿们得到这样的观测数据是多么的不可能，相当不可能得到的数据，就是原假设不对的合理证据，偶然性也就消除了。
(二)原假设
1. 研究者想收集证据予以反对的假设。是关于总体参数的表述，它是接受检验的假设。
2. 总是有符号 =, £ 或 ³
3. 表示为 H0
n H0 ： m = 某一数值
n 指定为符号 =，£ 或 ³
(三)备择假设
研究者想收集证据予以支持的假设。党员假设被否定时另一种可成立的假设。
总是有符号 ¹, < 或 >
表示为 H1
n H1 ： m <某一数值，或m >某一数值
(四)结论与总结
原假设和备择假设是一个完备事件组，而且相互对立
n 在一项假设检验中，原假设和备择假设必有一个成立，而且只有一个成立
先确定备择假设，再确定原假设
等号“=”总是放在原假设上
因研究目的不同，对同一问题可能提出不同的'假设(也可能得出不同的结论)
(五)两类错误
1. 第Ⅰ类错误(弃真错误)
原假设为真时拒绝原假设
第Ⅰ类错误的概率记为a。被称为显著性水平。常用的 a 值有0.01, 0.05, 0.10
2. 第Ⅱ类错误(取伪错误)
原假设为假时未拒绝原假设
第Ⅱ类错误的概率记为b (Beta)
影响b错误的因素：1. 总体参数的真值。随着假设的总体参数的减少而增大
2. 显著性水平 a。当 a 减少时增大 3. 总体标准差 s。当 s 增大时增大 4.样本容量 n。当 n 减少时增大
控制：进行假设检验时总希望犯两类错误的可能性都很小，然而，在其他条件不变的情况下，a与b是此消彼长的关系，二者不可能同时减小。若要同时减小a与b，只能是增大样本量。一般总是控制a，是犯错误的概率不大于a，即a是允许犯弃真错误的最大概率值(而P值相当于根据样本计算的犯弃真错误的概率值，故P值又称为观测的显著性水平)。但确定a时必须注意，如果犯弃真错误的代价较大，a可取小些，相反，如果返取伪错误的代价较大，则a宜取大些(以使b较小)
(六)假设检验的结论表述
假设检验的目的就在于试图找到拒绝原假设，而不在于证明什么是正确的
拒绝原假设时结论是清楚的
例如，H0：m=10，拒绝H0时，我们可以说¹m10
当不拒绝原假设时
并未给出明确的结论
不能说原假设是正确的，也不能说它不是正确的
例如， 当不拒绝H0：m=10，我们并未说它就是10，但也未说它不是10。我们只能说样本提供的证据还不足以推翻原假设
(七)统计上的显著与实际意义
1. 当拒绝原假设时，我们称样本结果是统计上显著的(statistically Significant)
2. 当不拒绝原假设时，我们称样本结果是统计上不显著的
3. 在“显著”和“不显著”之间没有清除的界限，只是在P值越来越小时，我们就有越来越强的证据，检验的结果也就越来越显著
4. “显著的”(Significant)一词的意义在这里并不是“重要的”，而是指“非偶然的”
5. 一项检验在统计上是“显著的”，意思是指：这样的(样本)结果不是偶然得到的，或者说，不是靠机遇能够得到的
6. 如果得到这样的样本概率(P)很小，则拒绝原假设
在这么小的概率下竟然得到了这样的一个样本，表明这样的样本经常出现，所以，样本结果是显著的
7. 在进行决策时,我们只能说P值越小,拒绝原假设的证据就越强,检验的结果也就越显著
8. 但P值很小而拒绝原假设时，并不一定意味着检验的结果就有实际意义
因为假设检验中所说的“显著”仅仅是“统计意义上的显著”
一个在统计上显著的结论在实际中却不见得就很重要，也不意味着就有实际意义
9. 因为值与样本的大小密切相关,样本量越大,检验统计量的P值也就越大,P值就越小,就越有可能拒绝原假设
10.如果你主观上要想拒绝原假设那就一定能拒绝它
这类似于我们通常所说的“欲加之罪，何患无词”
只要你无限制扩大样本量，几乎总能拒绝原假设
11.当样本量很大时，解释假设检验的结果需要小心
在大样本情况下，总能把与假设值的任何细微差别都能查出来，即使这种差别几乎没有任何实际意义
12.在实际检验中，不要刻意追求“统计上的”显著性，也不要把统计上的显著性与实际意义上的显著性混同起来
n一个在统计上显著的结论在实际中却不见得很重要，也不意为着就有实际意义