ROC vs. PRC

评价二元分类器性能的指标，常见的有：Accuracy，ROC curve（Sensitivity + Specificity）、AUC、PR curve（Precision + Recall）、F1 score。

其中，主要的争论在于，评价模型时应该选用ROC（即Sensitivity + Specificity）还是PRC（即Precision + Recall）。

把知乎上 「精确率、召回率、F1 值、ROC、AUC 各自的优缺点是什么？」 下的回答都看了一遍，有人偏向ROC，有人偏向PRC。

但有两点基本是统一的：

这篇文章简单讨论一下不同情况下Sensitivity（也即Recall）、Specificity和Precision的变化情况，和由此得之的ROC、PRC选择偏好。

先放结论：总体而言，如果只能二选一，我会选择ROC。

先讲讲混淆矩阵。

混淆矩阵是用来总结一个分类器结果的矩阵。对于k元分类，它是一个k x k的表格，用来记录分类器的预测结果。

最常见的二元分类，它的混淆矩阵是一个2x2表：

二元分类器的大多数指标都是上述TP、FN、FP、TN的排列组合运算。

这篇文章涉及到ROC和PRC下的三个指标：

Sensitivity（Recall）指的是，真实的class 1被正确分类的比例。

Specificity指的是，真实的class 0被正确分类的比例。

Precision指的是，被分类为class 1的数据中，被判断正确的数据的比例。

在实际工作中使用分类器做预测的时候，目的一般是为了识别class 1，比如识别一封邮件是否为垃圾邮件（是：1，否：0）。即，我们想要高Sensitivity（或高Recall）。

以下，我基于数据是否平衡，以及Recall和Specificity或高或低的不同情况（双低的情况就不讨论了），简单设计了相应的混淆矩阵，并计算了每种情况下的Recall值、Specificity值和Precision值，具体如图（请无视其中的F1 score）：

在数据平衡的情况中，实际的class 1和class 0在数量上都为100。在数据不平衡的情况中，实际的class 1有20个、class 0有180个。

在数据平衡和不平衡的情况中，都有Recall和Specificity双高（08）、或二者中一个高（08）一个低（02）三种情况。Precision根据不同情况所得的混淆矩阵计算。

通过比较上述六种情况下各指标的值可以发现：

下面我通过两个不同的应用场景，来分析具体情况在应该选择ROC还是PRC。

乍看之下，在这个场景里PRC是更好的选择，因为我们对Precision和Recall的要求高。但结合上述实验结果可以发现，在Recall相同的情况下，无论数据是否平衡，Specificity和Precision变化方向总是相同的，但Precision的变化幅度比Specificity小。换言之，Recall不变的时候，看Specificity比看Precision要更容易对比模型优劣。因此，ROC是更好的选择。

在这个场景下，数据显然是极度不平衡的 ，毕竟地震源很少，并且，我们希望Recall越高越好，即使出现误判，我们也不希望放过一个地震源。这个时候，无论是ROC还是PRC都是可选的。

通过对上述两类应用场景的简单分析，可以发现，在选择ROC还是PRC上，要结合具体情况来考虑，但如果二者只能选其一，ROC是更保险的选择。

中华人民共和国 的英语缩写

The People's Republic of China

PRC 中华人民共和国 The People's Republic of China

PRC对我们中国人来说是1949年成立的新中国,向世人宣告中国人民从此站起来了的中华人民共和国

prc1是打印纸的尺寸。打印纸，打印纸是指打印文件以及复印文件所用的一种纸张。规格以A0、A1、A2、B1、B2、A4、A5等。一般常用的A4纸，被广泛运用于试卷方面。

按长度和宽度分类

纸张的规格是指纸张制成后，经过修整切边，裁成一定的尺寸。过去是以多少"开"（例如8开或16开等）来表示纸张的大小。我国采用国际标准，规定以A0、A1、A2、B1、B2、A4、A5等标记来表示纸张的幅面规格。标准规定纸张的幅宽（以X表示）和长度（以Y表示）的比例关系为X：Y=1：n 。

PRC灵异事件之一：传奇法术研究不能

话说PRC修改了传奇法术的获得方式。NWN原来是把诸传奇法术做成了Feat，PRC传奇法术太多，就法师那点Feat数目大家得怨声载道~于是现在的PRC里传奇法术是这样学的（注意连PRC MANUAL里说的也不是很准确）：

1 有个传奇Feat叫Epic Spellcasting，需要法术辨识24+传闻24+9级法术施展能力（神奥术均可~大家想象淑妮JJ滴牧师放地狱球的样子……）

2 确认您有21+的caster level~20级是米有传奇法术选项滴……

3 选人物特技里的“PRC Options”，别急着去Manage Epic Spell，你还啥都8会呐……先选“Purchase……”项，然后选择买传奇法术书Epic Spell Books

4 注意出来的书有两种：一种叫seed，是学传奇法术的基础，用法和一般物品一样是右键后“使用”（吃书……）。使用后你还是啥法术都不会，但已经能学了。举个例子吧，如果想学大时停Greater Time Stop，就必须先吃下Seed of Time；

5 另一种书就是真正的传奇法术书了。继续前例，买下“Epic Spell: Greater Time Stop”书，使用，信息栏里会出现这个法术的详细说明。这回可以去“Manage Epic Spell”项了，选里面的“Research”项，然后把法术书扔到上面的物品栏里，就开始学习滴过程，学成功的话书会消失。注意PRC手册里这个地方写的还是老版本的方式，那时候有个房间专门供你研习法术……；

6 学会法术后，从“Manage Epic Spells”里的“Add”一项就可以将法术填到传奇法术位里，然后就可以在施法里的传奇法术菜单中找到了~传奇法术8需要准备，这个菜单随时都能改，因此表在里面放太多，据说会出毛病……

说了这么多，之前的BUG呢？就是第5步，33hRC1里Research米反应……偶报告了这个问题，被PRC的xwarren大人解决了（迄今为止偶滴问题都是他解决滴……），MS是个脚本的错误，用他提供的脚本换一下就OK了~RC2里这个问题已经解决了（众怒：那你说这么半天干嘛……）

另外关于传奇法术的注意事项：

学习条件：足够的money，足够的exp（注意你是不能因此降级的，也就是说你只能花“富裕”出来的经验值），足够高的法术辨识（学法术时要做个法辨的技能检定，最难学的三个法术DC有101之高……），都写在法术说明里了。另外有个法术赫拉克勒斯联盟Herculean Alliance需要先修法术赫拉克勒斯强化Herculean Empowerment，必须把后者学完后放到传奇法术位里才能学会前者……

代价：有些传奇法术施放时还是要付经验（当然另外一些不用），还有一些有反噬~

然后注意有些法术是和MOD有关的，它有什么用完全取决于MOD定义它有什么用，当然没定义就没用……不明白？去放个天界议会Celestial Council或恶魔之语Fiendish Words就知道了……

最后，再说一遍传奇法术的施放就像术士一样8用休息准备，每日施放量=传闻/10，当然是取整~

取自 NWN吧。