【机器学习案例实战】信用卡欺诈检测(推荐入门看下，已更新至最新库)
1.故事背景
原始数据为个人交易记录，但是考虑数据本身的隐私性，已经对原始数据进行了类似PCA的处理，现在已经把特征数据提取好了，接下来的目的就是如何建立模型使得检测的效果达到最好，这里我们虽然不需要对数据做特征提取的操作，但是面对的挑战还是蛮大的。利用Logistic regression进行信用卡欺诈检测，使用的是一份竞赛数据集（已脱敏处理），使用的是Python的Jupyter Notebook工具。
导入函数库
import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
from sklearn.cross_validation import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.cross_validation import KFold, cross_val_score
from sklearn.metrics import confusion_matrix,recall_score,classification_report
数据分析与建模可不是体力活，时间就是金钱我的朋友（魔兽玩家都懂的！）如果你用python来把玩数据，那么这些就是你的核武器啦。简单介绍一下这几位朋友！
Numpy-科学计算库 主要用来做矩阵运算，什么？你不知道哪里会用到矩阵，那么这样想吧，咱们的数据就是行（样本）和列（特征）组成的，那么数据本身不就是一个矩阵嘛。
Pandas-数据分析处理库 很多小伙伴都在说用python处理数据很容易，那么容易在哪呢？其实有了pandas很复杂的操作我们也可以一行代码去解决掉！
Matplotlib-可视化库 无论是分析还是建模，光靠好记性可不行，很有必要把结果和过程可视化的展示出来。
Scikit-Learn-机器学习库 非常实用的机器学习算法库，这里面包含了基本你觉得你能用上所有机器学习算法啦。但还远不止如此，还有很多预处理和评估的模块等你来挖掘的！
2. 观察数据
data = pd.read_csv("creditcard.csv")
data.head()
首先我们用pandas将数据读进来并显示最开始的5行，看见木有！用pandas读取数据就是这么简单！这里的数据为了考虑用户隐私等，已经通过PCA{主成分分析(Principal Component Analysis,PCA)} 是一种多变量统计方法,它是最常用的降维方法之一处理过了，现在大家只需要把数据当成是处理好的特征就好啦！
数据有31列：Time、V1-V28、Amount和Class，注意到最后一列Class，这是我们的label值，0代表正常数据，1代表欺诈数据。首先习惯性地画个图观察一下欺诈数据的分布。
接下来我们核心的目的就是去检测在数据样本中哪些是具有欺诈行为的！
count_classes = pd.value_counts(data['Class'], sort = True).sort_index()
count_classes.plot(kind = 'bar')
plt.title("Fraud class histogram")
plt.xlabel("Class")
plt.ylabel("Frequency")
可以看到Class=0的数据大概有28W，欺诈数据Class=1极少，极度不均匀的分布状态。
千万不要着急去用机器学习算法建模做这个分类问题。首先我们来观察一下数据的分布情况，在数据样本中有明确的label列指定了class为0代表正常情况，class为1代表发生了欺诈行为的样本。从上图中可以看出来。。。等等，你不是说有两种情况吗，为啥图上只有class为0的样本啊？再仔细看看，纳尼。。。class为1的并不是木有，而是太少了，少到基本看不出来了，那么此时我们面对一个新的挑战，样本极度不均衡，接下来我们首先要解决这个问题，这个很常见也是很头疼的问题。
3.采用下采样
这里我们提出两种解决方案 也是数据分析中最常用的两种方法，下采样和过采样！
通常有两种处理方法：
过采样（让1变得和0一样多）；
下采样（在0中取出部分数据，数量与1一致）
先挑个软柿子捏，下采样比较简单实现，咱们就先搞定第一种方案！下采样的意思就是说，不是两类数据不均衡吗，那我让你们同样少（也就是1有多少个 0就消减成多少个），这样不就均衡了吗。
X = data.ix[:, data.columns != 'Class'] #取出不包括 class其他的列
print(X)
y = data.ix[:, data.columns == 'Class'] #取出包括 class这一列
# Number of data points in the minority class
number_records_fraud = len(data[data.Class == 1])
fraud_indices = np.array(data[data.Class == 1].index)
print(fraud_indices)
# Picking the indices of the normal classes
normal_indices = data[data.Class == 0].index
# Out of the indices we picked, randomly select "x" number (number_records_fraud)
random_normal_indices = np.random.choice(normal_indices, number_records_fraud, replace = False)
random_normal_indices = np.array(random_normal_indices)
# Appending the 2 indices
under_sample_indices = np.concatenate([fraud_indices,random_normal_indices])
# Under sample dataset 定位
under_sample_data = data.iloc[under_sample_indices,:]
X_undersample = under_sample_data.ix[:, under_sample_data.columns != 'Class']
y_undersample = under_sample_data.ix[:, under_sample_data.columns == 'Class']
# Showing ratio
print("Percentage of normal transactions: ", len(under_sample_data[under_sample_data.Class == 0])/len(under_sample_data))
print("Percentage of fraud transactions: ", len(under_sample_data[under_sample_data.Class == 1])/len(under_sample_data))
print("Total number of transactions in resampled data: ", len(under_sample_data))
4.交叉验证： 切分测试集和训练集
很简单的实现方法，在属于0的数据中，进行随机的选择，就选跟class为1的那类样本一样多就好了，那么现在我们已经得到了两组都是非常少的数据，接下来就可以建模啦！不过在建立任何一个机器学习模型之前不要忘了一个常规的操作，就是要把数据集切分成训练集和测试集，这样会使得后续验证的结果更为靠谱。
在训练逻辑回归的模型中做了一件非常常规的事情，就是对于一个模型，咱们再选择一个算法的时候伴随着很多的参数要调节，那么如何找到最合适的参数可不是一件简单的事，依靠经验值并不是十分靠谱，通常情况下我们需要大量的实验也就是不断去尝试最终得出这些合适的参数。
from sklearn.cross_validation import train_test_split
# Whole dataset
X_train, X_test, y_train, y_test = train_test_split(X,y,test_size = 0.3, random_state = 0)
print("Number transactions train dataset: ", len(X_train))
print("Number transactions test dataset: ", len(X_test))
print("Total number of transactions: ", len(X_train)+len(X_test))
# Undersampled dataset
X_train_undersample, X_test_undersample, y_train_undersample, y_test_undersample = train_test_split(X_undersample
,y_undersample
,test_size = 0.3
,random_state = 0)
print("")
print("Number transactions train dataset: ", len(X_train_undersample))
print("Number transactions test dataset: ", len(X_test_undersample))
print("Total number of transactions: ", len(X_train_undersample)+len(X_test_undersample))
在使用机器学习算法的时候，很重要的一部就是参数的调节，在这里我们选择使用最经典的分类算法，逻辑回归！千万别把逻辑回归当成是回归算法，它就是最实用的二分类算法！这里我们需要考虑的c参数就是正则化惩罚项的力度，那么如何选择到最好的参数呢？这里我们就需要交叉验证啦，然后用不同的C参数去跑相同的数据，目的就是去看看啥样的C参数能够使得最终模型的效果最好！可以到不同的参数对最终的结果产生的影响还是蛮大的，这里最好的方法就是用验证集去寻找了！
模型已经造出来了，那么怎么评判哪个模型好，哪个模型不好呢？我们这里需要好好想一想！
5.模型评估
精度：数据样本分布不均，虽然很高，但很可能一个没检测出来，所以经常用recall
一般都是用精度来衡量，也就是常说的准确率，但是我们来想一想，我们的目的是什么呢？是不是要检测出来那些异常的样本呀！换个例子来说，假如现在医院给了我们一个任务要检测出来1000个病人中，有癌症的那些人。那么假设数据集中1000个人中有990个无癌症，只有10个有癌症，我们需要把这10个人检测出来。假设我们用精度来衡量，那么即便这10个人没检测出来，也是有 990/1000 也就是99%的精度，但是这个模型却没任何价值！这点是非常重要的，因为不同的评估方法会得出不同的答案，一定要根据问题的本质，去选择最合适的评估方法。
6.正则化惩罚
正则化 惩罚：L2 正则化
机器学习中几乎都可以看到损失函数后面会添加一个额外项，常用的额外项一般有两种，一般英文称作ℓ1-norm和ℓ2-norm，中文称作L1正则化和L2正则化，或者L1范数和L2范数。
L1正则化和L2正则化可以看做是损失函数的惩罚项。所谓『惩罚』是指对损失函数中的某些参数做一些限制。对于线性回归模型，使用L1正则化的模型建叫做Lasso回归，使用L2正则化的模型叫做Ridge回归（岭回归）。下图是Python中Lasso回归的损失函数，式中加号后面一项α||w||1
即为L1正则化项。
L1正则化是指权值向量w中各个元素的绝对值之和，通常表示为||w||1
L2正则化是指权值向量w
中各个元素的平方和然后再求平方根（可以看到Ridge回归的L2正则化项有平方符号），通常表示为||w||2。一般都会在正则化项之前添加一个系数，Python中用α表示，一些文章也用λ表示。这个系数需要用户指定。
那添加L1和L2正则化有什么用？下面是L1正则化和L2正则化的作用，这些表述可以在很多文章中找到。
L1正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，可以用于特征选择
L2正则化可以防止模型过拟合（overfitting）；一定程度上，L1也可以防止过拟合
def printing_Kfold_scores(x_train_data,y_train_data):
fold = KFold(len(y_train_data),5,shuffle=False) #传入原始训练集
#在机器学习之中，要传入各种参数，今天传入一个正则化惩罚项的参数C
# Different C parameters
c_param_range = [0.01,0.1,1,10,100]
#正则化惩罚系数，一个一个尝试，惩罚sita 大力度惩罚A模型，惩罚B 模型
results_table = pd.DataFrame(index = range(len(c_param_range),2), columns = ['C_parameter','Mean recall score'])
results_table['C_parameter'] = c_param_range
# the k-fold will give 2 lists: train_indices = indices[0], test_indices = indices[1]
j = 0
for c_param in c_param_range: #寻找最佳的c参数
print('-------------------------------------------')
print('C parameter: ', c_param)
print('-------------------------------------------')
print('')
recall_accs = []
for iteration, indices in enumerate(fold,start=1):
# Call the logistic regression model with a certain C parameter
#建立逻辑回归模型，实例化模型，模型参数传入
lr = LogisticRegression(C = c_param, penalty = 'l1')
# Use the training data to fit the model. In this case, we use the portion of the fold to train the model
# with indices[0]. We then predict on the portion assigned as the 'test cross validation' with indices[1]
#训练模型，.fit训练模型，通过交叉验证，建立这样的一个模型。
lr.fit(x_train_data.iloc[indices[0],:],y_train_data.iloc[indices[0],:].values.ravel())
# Predict values using the test indices in the training data
#验证操作，看看验证效果，同
y_pred_undersample = lr.predict(x_train_data.iloc[indices[1],:].values)
# Calculate the recall score and append it to a list for recall scores representing the current c_parameter
#计算召回率；打印出来数据。
recall_acc = recall_score(y_train_data.iloc[indices[1],:].values,y_pred_undersample)
recall_accs.append(recall_acc)
print('Iteration ', iteration,': recall score = ', recall_acc)
# The mean value of those recall scores is the metric we want to save and get hold of.
results_table.ix[j,'Mean recall score'] = np.mean(recall_accs)
j += 1
print('')
print('Mean recall score ', np.mean(recall_accs))
print('')
best_c = results_table.loc[results_table['Mean recall score'].idxmax()]['C_parameter']
# Finally, we can check which C parameter is the best amongst the chosen.
print('*********************************************************************************')
print('Best model to choose from cross validation is with C parameter = ', best_c)
print('*********************************************************************************')
return best_c
不同C参数对应的最终模型效果：
C parameter: 0.01
Iteration 1 : recall score = 0.958904109589
Iteration 2 : recall score = 0.917808219178
Iteration 3 : recall score = 1.0
Iteration 4 : recall score = 0.972972972973
Iteration 5 : recall score = 0.954545454545
Mean recall score 0.960846151257
C parameter: 0.1
Iteration 1 : recall score = 0.835616438356
Iteration 2 : recall score = 0.86301369863
Iteration 3 : recall score = 0.915254237288
Iteration 4 : recall score = 0.932432432432
Iteration 5 : recall score = 0.878787878788
Mean recall score 0.885020937099
C parameter: 1
Iteration 1 : recall score = 0.835616438356
Iteration 2 : recall score = 0.86301369863
Iteration 3 : recall score = 0.966101694915
Iteration 4 : recall score = 0.945945945946
Iteration 5 : recall score = 0.893939393939
Mean recall score 0.900923434357
C parameter: 10
Iteration 1 : recall score = 0.849315068493
Iteration 2 : recall score = 0.86301369863
Iteration 3 : recall score = 0.966101694915
Iteration 4 : recall score = 0.959459459459
Iteration 5 : recall score = 0.893939393939
Mean recall score 0.906365863087
C parameter: 100
Iteration 1 : recall score = 0.86301369863
Iteration 2 : recall score = 0.86301369863
Iteration 3 : recall score = 0.966101694915
Iteration 4 : recall score = 0.959459459459
Iteration 5 : recall score = 0.893939393939
Mean recall score 0.909105589115
Best model to choose from cross validation is with C parameter = 0.01
7.混淆矩阵
同样的道理，这里我们采用recall来计算模型的好坏，也就是说那些异常的样本我们的检测到了多少，这也是咱们最初的目的！这里通常用混淆矩阵来展示。
混淆矩阵（confusion matrix）衡量的是一个分类器分类的准确程度。理解其概念本身容易理解，但一些特定术语易被混淆。
混淆矩阵适用于包含多个分类器的问题，本文为了让读者理解更加容易，以二元分类的混淆矩阵为例进行讲解。
观察混淆矩阵，可得如下结论：
示例是一个二元分类问题，产生两种可能的分类：“是”或者“不是”。当预测一个事件是否发生时，“是”意味着该事件已经发生，而“否”则相反，该事件没有发生。
该模型对这个事件进行了100次预测。
在这100次预测结果中，“是”有45次，“否”有55次。但实际上该事件发生了40次。
重要概念：
真阳性（True Positive，TP）：样本的真实类别是正例，并且模型预测的结果也是正例
真阴性（True Negative，TN）：样本的真实类别是负例，并且模型将其预测成为负例
假阳性（False Positive，FP）：样本的真实类别是负例，但是模型将其预测成为正例
假阴性（False Negative，FN）：样本的真实类别是正例，但是模型将其预测成为负例
混淆矩阵延伸出的各个评价指标
1.正确率（Accuracy）：被正确分类的样本比例或数量
(TP+TN)/Total = (35+50)/100 = 85%
2.错误率（Misclassification/Error Rate）：被错误分类的样本比例或数量
(FP+FN)/Total = (5+10)/100 = 15%
3.真阳率（True Positive Rate）：分类器预测为正例的样本占实际正例样本数量的比例，也叫敏感度（sensitivity）或召回率（recall），描述了分类器对正例类别的敏感程度。
TP/ actual yes = 35/40 = 87%
4.假阳率（False Positive Rate）：分类器预测为正例的样本占实际负例样本数量的比例。
FP/actual no = 10/60 = 17%
5.特异性（Specificity）：实例是负例，分类器预测结果的类别也是负例的比例。
TN/actual no = 50/60 = 83%
精度（Precision）：在所有判别为正例的结果中，真正正例所占的比例。
TP/predicted yes = 35/45 = 77%
7.流行程度（Prevalence）：正例在样本中所占比例。
Actual Yes/Total = 40/100 = 40%
关键术语：
阳性预测值：其术语概念与精度非常类似，只是在计算阳性预测值考虑了流行程度。在流行程度为50%的时候，阳性预测值（PPV）与精度相同。
空错误率：当模型总是预测比例较高的类别，其预测错误的实例所占百分比。在上述示例中，空错误率为60/100 = 60%，因为如果分类器总是预测“是”，那么对于60个为“否”的事件则可能进行错误预测。该指标可用于分类器间的性能比较。然而，对于某些特定的应用程序来说，其最佳分类器的错误率有时会比空错误率更高。
F值：F 值即为正确率和召回率的调和平均值。
Roc曲线：即接收者操作特征曲线(receiver operating characteristic curve)，反映了真阳性率（灵敏度）和假阳性率（1-特异度）之间的变化关系。Roc曲线越趋近于左上角，预测结果越准确。
这个图就非常漂亮了！（并不是说画的好而是展示的很直接）从图中可以清晰的看到原始数据中样本的分布以及我们的模型的预测结果，那么recall是怎么算出来的呢？就是用我们的检测到的个数（137）去除以总共异常样本的个数（10+137），用这个数值来去评估我们的模型。利用混淆矩阵我们可以很直观的考察模型的精度以及recall，也是非常推荐大家在评估模型的时候不妨把这个图亮出来可以帮助咱们很直观的看清楚现在模型的效果以及存在的问题。
这可还木有完事，我们刚才只是在下采样的数据集中去进行测试的，那么这份测试还不能完全可信，因为它并不是原始的测试集，我们需要在原始的，大量的测试集中再次去衡量当前模型的效果。可以看到效果其实还不错，但是哪块有些问题呢，是不是我们误杀了很多呀，有些样本并不是异常的，但是并我们错误的当成了异常的，这个现象其实就是下采样策略本身的一个缺陷。
8. 逻辑回归阈值选择
对于逻辑回归算法来说，我们还可以指定这样一个阈值，也就是说最终结果的概率是大于多少我们把它当成是正或者负样本。不用的阈值会对结果产生很大的影响。
上图中我们可以看到不用的阈值产生的影响还是蛮大的，阈值较小，意味着我们的模型非常严格宁肯错杀也不肯放过，这样会使得绝大多数样本都被当成了异常的样本，recall很高，精度稍低 当阈值较大的时候我们的模型就稍微宽松些啦，这个时候会导致recall很低，精度稍高，综上当我们使用逻辑回归算法的时候，还需要根据实际的应用场景来选择一个最恰当的阈值！
#逻辑回归阈值对结果的影响
# 阈值选择 ，阈值上升，召回率降低
lr = LogisticRegression(C = 0.01, penalty = 'l1')
lr.fit(X_train_undersample,y_train_undersample.values.ravel())
y_pred_undersample_proba = lr.predict_proba(X_test_undersample.values)
#此时预测是一个概率值，也就是经过sigmoid函数之后的结果；lr.predict_proba
#LogisticRegression
thresholds = [0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9]
plt.figure(figsize=(10,10))
j = 1
for i in thresholds:
y_test_predictions_high_recall = y_pred_undersample_proba[:,1] > i
plt.subplot(3,3,j)
j += 1
# Compute confusion matrix
cnf_matrix = confusion_matrix(y_test_undersample,y_test_predictions_high_recall)
np.set_printoptions(precision=2)
print("Recall metric in the testing dataset: ", cnf_matrix[1,1]/(cnf_matrix[1,0]+cnf_matrix[1,1]))
# Plot non-normalized confusion matrix
class_names = [0,1]
plot_confusion_matrix(cnf_matrix
, classes=class_names
, title='Threshold >= %s'%i)
说完了下采样策略，我们继续唠一下过采样策略，跟下采样相反，现在咱们的策略是要让class为0和1的样本一样多，也就是我们需要去进行数据的生成啦。
9.过采样操作 -SMOTE 算法
SMOTE全称是Synthetic Minority Oversampling Technique即合成少数类过采样技术，它是基于随机过采样算法的一种改进方案，由于随机过采样采取简单复制样本的策略来增加少数类样本，这样容易产生模型过拟合的问题，即使得模型学习到的信息过于特别(Specific)而不够泛化(General)，SMOTE算法的基本思想是对少数类样本进行分析并根据少数类样本人工合成新样本添加到数据集中，具体如图2所示，算法流程如下。
对于少数类中每一个样本xx，以欧氏距离为标准计算它到少数类样本集SminSmin中所有样本的距离，得到其k近邻。
根据样本不平衡比例设置一个采样比例以确定采样倍率N，对于每一个少数类样本xx，从其k近邻中随机选择若干个样本，假设选择的近邻为x
对于每一个随机选出的近邻xnxn，分别与原样本按照如下的公式构建新的样本
import pandas as pd
from imblearn.over_sampling import SMOTE
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import confusion_matrix
from sklearn.model_selection import train_test_split
#使用SMOTE算法生成数据，只用到训练集生成即可。
oversampler=SMOTE(random_state=0)
os_features,os_labels=oversampler.fit_sample(features_train,labels_train)
评论（0）
您还未登录，请登录后发表或查看评论