假設

H0 ：零假設，不能輕易被否定的命題作為原假設

H1 ：把無把握的、不能輕易肯定的命題作為備擇假設

如果一個統計檢驗的結果拒絕零假設（結論不支援零假設），而實際上真實的情況屬於零假設，那麼稱這個檢驗犯了第一類錯誤。

反之，如果檢驗結果支援零假設，而實際上真實的情況屬於備擇假設，那麼稱這個檢驗犯了第二類錯誤。

儘量使後果嚴重的錯誤成為第一類錯誤．

• 先定義α顯著水平
• 定義原假設，即按照常理推斷出的情況
• 計算P值，如果P>α 則拒絕原假設接受H1假設

獨立性檢驗

秩和檢驗

驗證兩個樣本是否服從同一分佈

將兩個樣本合併後排序，得到每個樣本單位的秩次。當幾個資料的大小相同秩次卻不相同時，最終的秩次取其算術平均。

H0 ：兩個總體服從相同的分佈

H1 ：兩個總體服從不同的分佈

顯著水平為a

求出樣本數較少的那個總體的秩和T

查“秩和檢驗表”，得出臨界值T1(a)，T2(a)，若T1(a)<T<T2(a)則接受H0

chi squared test (X2test)

fo : observed觀察值

fe : expected期望值

X2=∑fo−fefe

獨立性檢驗：

fe=N⋅1×N1⋅N⋅⋅

Degree of freedom(df) = (total row number - 1)(total column number -1)

T test

bbs

F test

confusion matrix

Wiki

confusion matrix of classification

table of confusion

Type I error : FP 誤判為陽性樣本

Type II error: FN 誤判為陰性樣本

Error=TN+FP4

• relevant 相關

  which is correctly classified
  

  Relevant=TP+FN

• retrieved 預測為正例的(即檢索出的)

  selected items,
  

  Retrieved=TP+FP

• Accuracy

for the cat class

code

from sklearn.metrics import confusion_matrix
cm = confusion_matrix(y_true, y_pred)

confusion matrix plot

import itertools
import matplotlib.pyplot as plt
import numpy as np
from sklearn.metrics import confusion_matrix
def plot_confusion_matrix(cm, classes,
                          normalize=False,
                          title='Confusion matrix',
                          cmap=plt.cm.Blues):
    """
    This function prints and plots the confusion matrix.
    Normalization can be applied by setting `normalize=True`.

    Usage
    ---
    cnf_matrix = confusion_matrix(y_test, y_pred)
    np.set_printoptions(precision=2)
    plt.figure()
    plot_confusion_matrix(cnf_matrix, classes=class_names, normalize=True,
                          title='Normalized confusion matrix')

    """
    plt.imshow(cm, interpolation='nearest', cmap=cmap)
    plt.title(title)
    plt.colorbar()
    tick_marks = np.arange(len(classes))
    plt.xticks(tick_marks, classes, rotation=45)
    plt.yticks(tick_marks, classes)

    if normalize:
        cm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
        print("Normalized confusion matrix")
    else:
        print('Confusion matrix, without normalization')

    print(cm)

    thresh = cm.max() / 2.
    for i, j in itertools.product(range(cm.shape[0]), range(cm.shape[1])):
        plt.text(j, i, cm[i, j],
                 horizontalalignment="center",
                 color="white" if cm[i, j] > thresh else "black")

    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')

P-R & F1

• precision查準率

  被f判定為正例的樣本當中有多少實際為真？

  How many selected items are relevant?

• Precision=TPTP+FP={relevant}∩{retrieved}{
  相關推薦

  檢驗方法、混淆矩陣、模型評估

  假設 H0 ：零假設，不能輕易被否定的命題作為原假設 H1 ：把無把握的、不能輕易肯定的命題作為備擇假設 如果一個統計檢驗的結果拒絕零假設（結論不支援零假設），而實際上真實的情況屬於零假設，那麼稱這個檢驗犯了第一類錯誤。 反之，如果檢驗結果支援零假

  真假正負例、混淆矩陣、ROC曲線、召回率、準確率、F值、AP

  [轉自：https://blog.csdn.net/yimingsilence/article/details/53769861]  一、假正例和假負例   假正例（False Positive）：預測為1，實際為0的樣本   假負例（False N

  機器學習模型評估混淆矩陣、ROC曲線和AUC以及PR曲線

         在機器學習中，當我們基於某個業務建立模型並訓練後，接下來我們需要評判模型好壞的時候需要基於混淆矩陣，ROC和AUC等來進行輔助判斷。 混淆矩陣也叫精度矩陣，是用來表示精度評價，為N *N的矩陣，用來判別分類好壞的指標。 混淆矩陣中有以下幾個概念： TP(T

  模型評估方法（混淆矩陣）

  在資料探勘或機器學習建模後往往會面臨一個問題，就是該模型是否可靠？可靠性如何？也就是說模型的效能如何我們暫時不得而知。 如果模型不加驗證就使用，那後續出現的問題將會是不可估計的。所以通常建模後我們都會使用模型評估方法進行驗證，當驗證結果處於我們的可控範圍之內或者效果更佳，那該模型便可以進行後

  【scikit-learn】評估分類器效能的度量，像混淆矩陣、ROC、AUC等

  6. ROC曲線和AUC¶ ROC曲線指受試者工作特徵曲線/接收器操作特性(receiver operating characteristic，ROC)曲線, 是反映靈敏性和特效性連續變數的綜合指標,是用構圖法揭示敏感性和特異性的相互關係，它通過將連續變數設定出多個不同的臨界值，從而計算出一系列敏感性和特異

  二分類問題中混淆矩陣、PR以及AP評估指標

  仿照上篇博文對於混淆矩陣、ROC和AUC指標的探討，本文簡要討論機器學習二分類問題中的混淆矩陣、PR以及AP評估指標；實際上，（ROC,AUC）與（PR,AP）指標對具有某種相似性。 ####按照循序漸進的原則，依次討論混淆矩陣、PR和AP： 設定一個機器學習問題情境：給定一些腫瘤患者樣本，構建一個分類模

  機器學習：評價分類結果（實現混淆矩陣、精準率、召回率）

  test set 目的 mod 二分 參數 nbsp return try 一、實例 　1）構造極度偏差的數據 import numpy as np from sklearn import datasets digits = datasets.load_digits

  關於混淆矩陣、ROC、AUC的問題

  相信關於混淆矩陣、ROC和AUC的問題一直困擾著大家，要想搞懂ROC和AUC，首先要明白混淆矩陣是什麼。 混淆矩陣中有著Positive、Negative、True、False的概念，其意義如下： 稱預測類別為1的為Positive（陽性），預測類別為0的為Negativ

  混淆矩陣、精度precision、召回率recall、準確率accuracy、F1值

  混淆矩陣 True Positive(真正，TP)：將正類預測為正類數 True Negative(真負，TN)：將負類預測為負類數 False Positive(假正，FP)：將負類預測為正類數誤報

  python sklearn包——混淆矩陣、分類報告等自動生成

  preface：做著最近的任務，對資料處理，做些簡單的提特徵，用機器學習演算法跑下程式得出結果，看看哪些特徵的組合較好，這一系列流程必然要用到很多函式，故將自己常用函式記錄上。應該說這些函式基本上都會用到，像是資料預處理，處理完了後特徵提取、降維、訓練預測、通過混淆矩陣看

  模型矩陣、檢視矩陣、投影矩陣

  模型檢視投影矩陣的作用，就是將頂點從區域性座標系轉化到規範立方體(Canonical View Volnme)中。總而言之，模型檢視投影矩陣=投影矩陣×檢視矩陣×模型矩陣，模型矩陣將頂點從區域性座標系轉化到世界座標系中，檢視矩陣將頂點從世界座標系轉化到檢視座標系下，而投影

  對混淆矩陣、F1-Score、ROC曲線、AUC和KS曲線的理解

  （一）混淆矩陣  混淆矩陣是除了ROC曲線和AUC之外的另一個判斷分類好壞程度的方法。下面給出二分類的混淆矩陣Predicted as PositivePredicted as NegativeLabeled as Positive True Positive(TP)Fals

  R: matrix & array 生成、操作矩陣、數組：

  得到 其中 證明 nbsp 循環 sum 問題： 三維 AS ################################################### 問題：生成、操作矩陣 18.4.27 怎麽生成矩陣 matrix、，，及其相關操作 ？

  Matlab 奇異值、奇異矩陣、svd函式

  奇異值： 奇異值分解法是線性代數中一種重要的矩陣分解法，在訊號處理、統計學等領域有重要應用。 定義：設A為m*n階矩陣，A'表示A的轉置矩陣，A'*A的n個特徵值的非負平方根叫作A的奇異值。記為σi(A)。如果把A‘*A的特徵值記為λi(A‘*A)，則σi(A)＝sqrt(λi(A’*A)

  C語言求矩陣的行列式、伴隨矩陣、逆矩陣

  CSDN大神編寫的求矩陣的行列式，int getA(int arcs[N][N],int n)，通過呼叫遞迴函式，按矩陣的第一行進行分解，雖然行列式的計算都學過，但是自己寫起來還是得費一番功夫的，好在有MATLAB可以驗證結果，結果對拿過來就可以直接用。 voidgetAS

  稀疏矩陣、稠密矩陣、稀疏表示、字典學習概念

  稀疏矩陣：矩陣中0元素的個數遠大於非零，且0元素分佈無規律。稠密矩陣：稀疏矩陣反之。稀疏表示：尋找一個係數矩陣A（K*N）以及一個字典矩陣B（M*K），使得B*A儘可能的還原X，且A儘可能的稀疏。A便是X的稀疏表示。 書上原文為（將一個大矩陣變成兩個小矩陣，而達到壓縮）字典學

  透明代理、匿名代理、混淆代理、高匿代理的區別

  這4種代理，主要是在代理伺服器端的配置不同，導致其向目標地址傳送請求時，REMOTE_ADDR， HTTP_VIA，HTTP_X_FORWARDED_FOR三個變數不同。 透明代理(Transparent Proxy) REMOTE_ADDR = Pro

  透明代理、匿名代理、混淆代理、高匿代理有什麼區別？

  這4種代理，主要是在代理伺服器端的配置不同，導致其向目標地址傳送請求時，REMOTE_ADDR， HTTP_VIA，HTTP_X_FORWARDED_FOR三個變數不同。 1、透明代理(Transparent Proxy) REMOTE_ADDR = Proxy IP

  座標系轉換之三：尤拉角、四元數、旋轉矩陣、方向餘弦矩陣、旋轉向量、軸角表示

  座標轉換有很多種方法，不同的領域有不同的使用習慣。 上兩篇文章我們講了旋轉矩陣和尤拉角，可知尤拉角是可以由旋轉矩陣轉化而來。 那麼怎麼從尤拉角轉化為旋轉矩陣呢？ 尤拉角（Euler angles）與旋轉矩陣（Rotation Matrix） 假設座標

  梯度、Hessian矩陣、平面方程的法線以及函式導數的含義

  想必單獨論及“ 梯度、Hessian矩陣、平面方程的法線以及函式導數”等四個基本概念的時候，絕大部分人都能夠很容易地談個一二三，基本沒有問題。 其實在應用的時候，這幾個概念經常被混淆，本文試圖把這幾個概念之間的關係整理一下，以便應用之時得心應手。 這四個概念中，Hessia