狭义数据分析是指根据分析目的,采用对比分析、分组分析、交叉分析和回归分析等分析方法,对收集来的数据进行处理与分析,提取有价值的信息,发挥数据作用,得到一个特征统计量结果的过程。
数据挖掘则是从大量的、不完全的、有噪声的、k8凯发官网模糊的、随机的实际应用数据中,通过应用聚类、分类、回归和关联规则等技术,挖掘潜在价值的过程。
常用的方法是留少部分做测试集,然后对其余N个样本采用K折交叉验证法,基本步骤如下:
计算预测误差平方和,把K次的预测误差平方和的均值作为选择最优模型结构的依据。
如果传入的是1组数据,那么生成的就是这一组数据随机划分为训练集和测试集,总共2组。如果传入的是2组数据,则生成的训练集和测试集分别两组,总共4组。
sklearn把相关的功能封装为转换器。使用sklearn转换器能够实现对传入的Numpy数组进行标准化处理,归一化处理,二值化处理,PCA降维等操作。转换器主要包括三个方法: