一.特征降维介绍

1.定义

是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关”主变量的过程。简单来说就是改变特征值，选择哪列保留，哪列删除

• 降低随机变量的个数

• 相关特征
  • 比如相对湿度与降雨量之间的相关

我们都是使用特征进行训练学习，如果特征本身存在问题或者特征之间相关性较强，对于算法学习预测会影响较大。

2.降维两种方式

• 特征选择

• 主成分分析（可以理解一种特征提取的方式）

二.特征选择

2.1定义

数据中包含冗余或无关变量（或称特征、属性、指标等），旨在从原有特征中找出主要特征。

2.2方法

• Filter(过滤式)：主要探究特征本身特点、特征与特征和目标值之间关联
  • 方差选择法：低方差特征过滤
  • 相关系数
• Embedded (嵌入式)：算法自动选择特征（特征与目标值之间的关联）
  • 决策树:信息熵、信息增益
  • 正则化：L1、L2
  • 深度学习：卷积等

2.3低方差特征过滤

删除低方差的一些特征，前面讲过方差的意义。再结合方差的大小来考虑这个方式的角度。

• 特征方差小：某个特征大多样本的值比较相近

• 特征方差大：某个特征很多样本的值都有差别

API

• sklearn.feature_selection.VarianceThreshold(threshold = 0.0)
  • 删除所有低方差特征
  • Variance.fit_transform(X)
    • X:numpy array格式的数据[n_samples,n_features]
    • 返回值：训练集差异低于threshold的特征将被删除。默认值是保留所有非零方差特征，即删除所有样本中具有相同值的特征。

代码演示：

import pandas as pd
# 特征选择-低方差特征过滤
from sklearn.feature_selection import VarianceThreshold


def var_thr():
    # 特征选择-低方差特征过滤
    data = pd.read_csv("./factor_returns.csv")
    # print(data.head())

    # 实例化
    transfer = VarianceThreshold(threshold=5)
    # 取所有行，第二列到第十列
    trans_data = transfer.fit_transform(data.iloc[:, 1:10])
    print("之前的数据形状", data.iloc[:, 1:10].shape)
    print("之后的数据形状", trans_data.shape)


if __name__ == '__main__':
    var_thr()

结果

三.相关系数-皮尔逊相关系数

1.主要实现方式

• 皮尔逊相关系数（通过具体值的大小进行计算）
• 斯皮尔曼相关系数（通过等级差进行计算）

2.皮尔逊相关系数(Pearson Correlation Coefficient)的作用与公式

作用

反映变量之间相关关系密切程度的统计指标

公式

3.皮尔逊相关系数特点

相关系数的值介于–1与+1之间，即–1≤ r ≤+1。其性质如下：

当 r>0 时，表示两变量正相关，r<0时，两变量为负相关

当|r|=1时，表示两变量为完全相关；当r=0时，表示两变量间无相关关系

当 0<|r|<1时，表示两变量存在一定程度的相关。且|r|越接近1，两变量间线性关系越密切；|r|越接近于0，表示两变量的线性相关越弱

一般可按三级划分：|r|<0.4为低度相关；0.4≤|r|<0.7为显著性相关；0.7≤|r|<1为高度线性相关

4.皮尔逊相关系数api

• from scipy.stats import pearsonr
  • x : (N,) array_like
  • y : (N,) array_like Returns: (Pearson’s correlation coefficient, p-value

代码演示

from scipy.stats import pearsonr

x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]

ret = pearsonr(x1, x2)
print("两列数据的皮尔逊相关系数为", ret)

运行结果：

四.相关系数-斯皮尔曼相关系数(Rank IC)

1.作用

反映变量之间相关关系密切程度的统计指标

2.公式

n为等级个数，d为二列成对变量的等级差数

3.特点

• 斯皮尔曼相关系数表明 X (自变量) 和 Y (因变量)的相关方向。如果当X增加时，Y 趋向于增加, 斯皮尔曼相关系数则为正
• 与之前的皮尔逊相关系数大小性质一样，取值 [-1, 1]之间。

返回值越接近|1|,相关性越强；越接近于0，相关性越弱。

斯皮尔曼相关系数比皮尔逊相关系数应用更加广泛

4.api

代码演示

from scipy.stats import spearmanr

x1 = [12.5, 15.3, 23.2, 26.4, 33.5, 34.4, 39.4, 45.2, 55.4, 60.9]
x2 = [21.2, 23.9, 32.9, 34.1, 42.5, 43.2, 49.0, 52.8, 59.4, 63.5]

ret = spearmanr(x1, x2)
print("两列数据的斯皮尔曼相关系数为", ret)

运行结果

五.主成分分析（PCA）

1.定于与作用

• 定义：高维数据转化为低维数据的过程，在此过程中可能会舍弃原有数据、创造新的变量
• 作用：是数据维数压缩，尽可能降低原数据的维数（复杂度），损失少量信息。
• 应用：回归分析或者聚类分析当中

2.api使用

• sklearn.decomposition.PCA(n_components=None) 将数据分解为较低维数空间
  • n_components:
    • 小数：表示保留百分之多少的信息
    • 整数：减少到多少特征
  • PCA.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]
  • 返回值：转换后指定维度的array

代码演示

from sklearn.decomposition import PCA

data = [[2, 8, 4, 5],
        [6, 3, 0, 8],
        [5, 4, 9, 1]]
# 保留到多少维
transfer = PCA(n_components=2)
trans_data = transfer.fit_transform(data)
print(trans_data, "------")

# 保留信息的百分比
transfer = PCA(n_components=0.95)
transfer_data = transfer.fit_transform(data)
print(transfer_data)

运行结果

3.案例演示-探究用户对物品类别的喜好细分降维

数据如下：

• order_products__prior.csv：订单与商品信息
  • 字段：order_id, product_id, add_to_cart_order, reordered
• products.csv：商品信息
  • 字段：product_id, product_name, aisle_id, department_id o- rders.csv：用户的订单信息
  • 字段：order_id,user_id,eval_set,order_number,….
• aisles.csv：商品所属具体物品类别
  • 字段： aisle_id, aisle

代码演示：

from sklearn.decomposition import PCA
import pandas as pd
from sklearn.cluster import KMeans
from sklearn.metrics import silhouette_score

def instacart():
    # 获取数据
    order_product = pd.read_csv("order_products__prior.csv")
    products = pd.read_csv("products.csv")
    orders = pd.read_csv("orders.csv")
    aisles = pd.read_csv("aisles.csv")

    # 数据基本处理
    # 合并表格
    table1 = pd.merge(order_product, products, on=["product_id", "product_id"])
    table2 = pd.merge(table1, orders, on=["order_id", "order_id"])
    table = pd.merge(table2, aisles, on=["aisle_id", "aisle_id"])

    # 交叉表合并
    table = pd.crosstab(table["user_id"], table["aisle"])
    print("原始数据", table.shape)

    # 数据截取前1000行数据
    new_table = table[:1000]

    # 特征工程-pca  保留90%的数据
    transfer = PCA(n_components=0.9)
    data = transfer.fit_transform(new_table)
    print("降维数据", data.shape)

    # 机器学习  聚合成5类
    extimator = KMeans(n_clusters=5)
    y_pre = extimator.fit_predict(data)

    # 模型评估 计算样本的平均轮廓系数
    res = silhouette_score(data, y_pre)
    print("模型评估", res)


if __name__ == '__main__':
    instacart()

运行结果：