<h2><strong>AUC介绍</strong></h2>    <p>AUC (Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于 F1-Score 对项目的不平衡有更大的容忍性，目前常见的机器学习库中(比如 <a href="/misc/goto?guid=4958541835409101228" rel="nofollow,noindex">scikit-learn</a> )一般也都是集成该指标的计算，其计算原理可以参考这个 <a href="/misc/goto?guid=4959716229839479191" rel="nofollow,noindex">ROC和AUC介绍以及如何计算AUC</a> ，但是有时候模型是单独的或者自己编写的，此时想要评估训练模型的好坏就得自己搞一个 AUC 计算模块，本文在查询资料时发现 libsvm-tools <sup>1</sup> 有一个非常通俗易懂的 auc 计算，因此抠出来用作日后之用。</p>    <h2><strong>AUC计算</strong></h2>    <p>AUC 的计算分为下面三个步骤：</p>    <ol>     <li> <p>计算数据的准备，如果模型训练时只有训练集的话一般使用交叉验证的方式来计算，如果有评估集( evaluate )一般就可以直接计算了，数据的格式一般就是需要预测得分以及其目标类别（注意是目标类别，不是预测得到的类别）</p> </li>     <li> <p>根据阈值划分得到横（X: False Positive Rate ）以及纵（Y: True Positive Rate ）点</p> </li>     <li> <p>将坐标点连成曲线之后计算其曲线下面积,就是 AUC 的值</p> </li>    </ol>    <p>直接上python代码</p>    <pre>  <code class="language-python">#! -*- coding=utf-8 -*-  import pylab as pl  from math import log,exp,sqrt      evaluate_result="you file path"  db = []  #[score,nonclk,clk]  pos, neg = 0, 0   with open(evaluate_result,'r') as fs:   for line in fs:    nonclk,clk,score = line.strip().split('\t')    nonclk = int(nonclk)    clk = int(clk)    score = float(score)    db.append([score,nonclk,clk])    pos += clk    neg += nonclk            db = sorted(db, key=lambda x:x[0], reverse=True)    #计算ROC坐标点  xy_arr = []  tp, fp = 0., 0.     for i in range(len(db)):   tp += db[i][2]   fp += db[i][1]   xy_arr.append([fp/neg,tp/pos])    #计算曲线下面积  auc = 0.     prev_x = 0  for x,y in xy_arr:   if x != prev_x:    auc += (x - prev_x) * y    prev_x = x    print "the auc is %s."%auc    x = [_v[0] for _v in xy_arr]  y = [_v[1] for _v in xy_arr]  pl.title("ROC curve of %s (AUC = %.4f)" % ('svm',auc))  pl.xlabel("False Positive Rate")  pl.ylabel("True Positive Rate")  pl.plot(x, y)# use pylab to plot x and y  pl.show()# show the plot on the screen  </code></pre>    <p>输入的数据集可以参考svm预测结果</p>    <p>其格式为:</p>    <pre>  <code class="language-python">nonclk \t clk \t score</code></pre>    <p>其中：</p>    <ol>     <li>nonclick :未点击的数据，可以看做负样本的数量</li>     <li>clk :点击的数量，可以看做正样本的数量</li>     <li>score :预测的分数，以该分数为group进行正负样本的预统计可以减少 AUC 的计算量</li>    </ol>    <p>运行的结果为:</p>    <p><img src="https://simg.open-open.com/show/593b07e959b31616459c658d773de0ef.png"></p>    <p>如果本机没安装 pylab 可以直接注释依赖以及画图部分</p>    <h2><strong>注意</strong></h2>    <p>上面贴的代码:</p>    <ol>     <li>只能计算二分类的结果（至于二分类的标签随便处理）</li>     <li>上面代码中每个 score 都做了一次阈值，其实这样效率是相当低的，可以对样本进行采样或者在计算横轴坐标时进行等分计算</li>    </ol>    <h2><strong>参考</strong></h2>    <ul>     <li><a href="/misc/goto?guid=4959716229934541309" rel="nofollow,noindex">http://www.csie.ntu.edu.tw/~cjlin/libsvmtools/#roc_curve_for_binary_svm</a></li>    </ul>    <p> </p>    <p> </p>    <p> </p>    <p>来自：http://kubicode.me/2016/09/19/Machine Learning/AUC-Calculation-by-Python/</p>    <p> </p>