深度学习PyTorch笔记（7）：数据预处理

这是《动手学深度学习》（PyTorch版）（Dive-into-DL-PyTorch）的学习笔记，里面有一些代码是我自己拓展的。

其他笔记在专栏 深度学习 中。

2 数据预处理

2.1 生成数据

创建一个人工数据集，并存储在C:/Users/xinyu/Desktop/myjupyter/data/class.csv中：

import os

os.makedirs(os.path.join('C:/Users/xinyu/Desktop/myjupyter', 'data'), exist_ok=True)#exist_ok=True确保存在路径C:/Users/xinyu/Desktop/myjupyter
data_file = os.path.join('C:/Users/xinyu/Desktop/myjupyter', 'data', 'class.csv')  #csv文件的意思是每一行是一个文件，每一个域用逗号隔开
with open(data_file, 'w') as f:  #将数据按行写进文件
    f.write('group, name, score, whether_pass\n')  #列名
    f.write('1, ZhangSan, 78, yes\n')  # 每行表示一个数据样本
    f.write('3, LiSi, 55, no\n')
    f.write('NA, WangWu,66, yes\n')
    f.write('5, ZhaoLiu,NA,NA\n')  #写入NA的时候要注意字符不能空格，否则写入的就是NA这个字符而不是NANI类型的missing value
    
#从创建的xls文件中加载原始数据集：导入pandas包并调用read_csv函数（一般读取csv文件用padans库）
import pandas as pd

data = pd.read_csv(data_file)
print(data)
data  #也可以不print，就会更好看，用html形式展现出来

   group       name   score  whether_pass
0    1.0   ZhangSan    78.0           yes
1    3.0       LiSi    55.0            no
2    NaN     WangWu    66.0           yes
3    5.0    ZhaoLiu     NaN           NaN

   group       name   score  whether_pass
0    1.0   ZhangSan    78.0           yes
1    3.0       LiSi    55.0            no
2    NaN     WangWu    66.0           yes
3    5.0    ZhaoLiu     NaN           NaN

2.2 处理缺失值

“NaN”项代表缺失值，处理缺失值典型的方法包括插值和删除。
下面的column1_3为数值缺失的，column4为内容缺失的。
首先对数值缺失的，取均值：

column1_3, column4 = data.iloc[:, ::2], data.iloc[:, -1]  #取出第一列、第三列，取出第四列。iloc就是index location
column1_3 = column1_3.fillna(column1_3.mean())  #对第一列、第三列NaN的数据取平均值
column1_3  #就是对数值域进行处理了
group score
0 1.0 78.000000
1 3.0 55.000000
2 3.0 66.000000
3 5.0

66.333333

其次对内容缺失的，将“NaN”视为一个类别：

column4 = pd.get_dummies(column4, dummy_na=True)
column4  #从结果可以看出，四组的分别是yes，no，yes，NaN0.
no yes NaN
0 0 1 0
1 1 0 0
2 0 1 0
3 0 0 1 


2.3 转换为张量格式


现在column1_3和column4中的所有条目都是数值类型，它们可以转换为张量格式。


import torch
x, y = torch.tensor(column1_3.values), torch.tensor(column4.values)
x, y



(tensor([[ 1.0000, 78.0000],
         [ 3.0000, 55.0000],
         [ 3.0000, 66.0000],
         [ 5.0000, 66.3333]], dtype=torch.float64),
 tensor([[0, 1, 0],
         [1, 0, 0],
         [0, 1, 0],
         [0, 0, 1]], dtype=torch.uint8))



上面是float64，传统的python一般默认浮点数为float64，但计算很慢，深度学习通常用32位浮点数