相似度檢測的重量計算方法

⑴ 計算圖像相似度的演算法有哪些

SIM = Structural SIMilarity（結構相似性），這是一種用來評測圖像質量的一種方法。由於人類視覺很容易從圖像中抽取出結構信息,因此計算兩幅圖像結構信息的相似性就可以用來作為一種檢測圖像質量的好壞.

首先結構信息不應該受到照明的影響,因此在計算結構信息時需要去掉亮度信息,即需要減掉圖像的均值;其次結構信息不應該受到圖像對比度的影響,因此計算結構信息時需要歸一化圖像的方差;最後我們就可以對圖像求取結構信息了,通常我們可以簡單地計算一下這兩幅處理後的圖像的相關系數.

然而圖像質量的好壞也受到亮度信息和對比度信息的制約,因此在計算圖像質量好壞時,在考慮結構信息的同時也需要考慮這兩者的影響.通常使用的計算方法如下,其中C1,C2,C3用來增加計算結果的穩定性:
2u(x)u(y) + C1
L(X,Y) = ------------------------ ,u(x), u(y)為圖像的均值
u(x)^2 + u(y)^2 + C1

2d(x)d(y) + C2
C(X,Y) = ------------------------,d(x),d(y)為圖像的方差
d(x)^2 + d(y)^2 + C2

d(x,y) + C3
S(X,Y) = ----------------------,d(x,y)為圖像x,y的協方差
d(x)d(y) + C3

而圖像質量Q = [L(X,Y)^a] x [C(X,Y)^b] x [S(X,Y)^c]，其中a，b，c分別用來控制三個要素的重要性，為了計算方便可以均選擇為1，C1，C2，C3為比較小的數值，通常C1=(K1 x L)^2, C2=(K2 xL)^2, C3 = C2/2, K1 << 1, K2 << 1, L為像素的最大值(通常為255).
希望對你能有所幫助。

⑵ 論文查重怎麼樣才算重復我這種怎麼算

你所不知道的論文查重六大誤區！

論文查重是畢業設計中重要的一環，是即將畢業的小夥伴無法忽視的一道坎。但是很多同學並沒有系統地了解論文查重的訣竅，從老師和畢業的學長學姐那裡得知的信息也寥寥無幾。這就導致很多同學在論文查重的時候很容易陷入坑中。那麼論文查重究竟有多少誤區呢？

比較著名的第三方查重網站有：

1、 網路學術

2、 維普論文檢測系統（3元/千字）

3、 萬方文獻相似性檢測（30元/篇）

4、 PaperPass（1.8元/千字）

5、 福昕論文助手（1.3元/千字）

為了查重的嚴謹性和保險起見，建議在最後送交知網前，先選擇以上的2-3種進行預測查

⑶ 文本、語音相似度演算法

前段時間公司項目用到了語音識別,圖像識別,視頻識別等,其實不能說是識別,應該說是相似度對比吧,畢竟相似度對比還上升不了到識別哈,等以後有了更深的理解再來討論修改下!這次就當做一個總結吧!

其實它的原理和視頻圖像相似度演算法類似，將一系列的向量,特徵,權重,進行合並,然後降維降到一維,其實這個演算法也就是採用降維技術,將所有的特徵都用一個唯一標識來表示.然後這個標識是經過這個演算法內部的計算,再利用海明距離計算相似度，視頻和圖片是經過漢明距離計算的

文本我們是採用simhash演算法：

1.我們給文本裡面的詞進行分詞,我們是用ik演算法,這個演算法就是while循環,讀取一行,然後調用ik智能分詞的類,智能去切割裡面的分詞;

2.根據裡面的詞頻,simhash演算法會加一個權重,當然,得詞頻達到多少個的時候才會有有權重,這也是它的缺點,一般文本數據較少的時候,他是不準確的,一般數據量在500+;演算法內部的話會將一系列的向量,特徵,權重,進行合並,然後降維降到一維,其實這個演算法也就是採用降維技術,將所有的特徵都用一個唯一標識來表示.然後這個標識是經過這個演算法內部的計算,然後得到的一個指紋簽名；

3.然後對比兩個文本的相似度就是將兩個指紋簽名進行海明距離計算,如果海明距離<8(根據業務和場景去判斷這個值，8是建議，參考)的話,表示兩個相似,小於3的話.表示兩個文本重復.

simhash演算法我們還可以做語音相似度,它的基本原理就是根據傅里葉變換處理得到聲波的形狀。

語音的坡度如果向上我們就用1表示,向下我們就用0表示,這樣的話,我們也可以用二進制碼去描述一首歌曲.得到一個唯一的指紋簽名,對比兩個音頻的相似度就是將兩個指紋簽名進行海明距離計算<8的話,我們就默認兩個音頻相似.

總結：都是把特徵降到一維，然後採用海明距離計算。計算的值小於多少時，就當做是相似。我這邊講的太淺了，實在領悟有限，時間有限，觸摸不深，等下次有新的領悟再來補充！

⑷ 如何進行相似度的計算，主要用什麼方式

如何計算句子的語義相似度,很容易想到的是向量空間模型（VSM）和編輯距離的方法,比如A：「我爸是李剛」,B：「我兒子是李剛」,利用VSM方法A（我,爸,是,李剛）B（我,兒子,是,李剛）,計算兩個向量的夾角餘弦值,不贅述；編輯距離就更好說了將「爸」,「兒子」分別替換掉,D（A,B）= replace_cost；
這是兩種相當呆的方法,屬於baseline中的baseline,換兩個例子看一下就知道A：「樓房如何建造?」,B：「高爾夫球怎麼打?」,C:「房子怎麼蓋?」,如果用VSM算很明顯由於B,C中有共同的詞「怎麼」,所以BC相似度高於AC；編輯距離同理；
解決這種問題方法也不難,只要通過同義詞詞典對所有句子進行擴展,「如何」、「怎麼」,「樓房」、「房子」都是同義詞或者近義詞,擴展後再算vsm或者edit distance對這一問題即可正解.這種方法一定程度上解決了召回率低的問題,但是擴展後引入雜訊在所難免,尤其若原句中含有多義詞時.例如：「打醬油」、「打毛衣」.在漢字中有些單字詞表達了相當多的意義,在董振東先生的知網（hownet）中對這種類型漢字有很好的語義關系解釋,通過hownet中詞語到義元的樹狀結構可以對對詞語粒度的形似度進行度量.
問題到這里似乎得到了不錯的解答,但實際中遠遠不夠.VSM的方法把句子中的詞語看做相互獨立的特徵,忽略了句子序列關系、位置關系對句子語義的影響；Edit Distance考慮了句子中詞語順序關系,但是這種關系是機械的置換、移動、刪除、添加,實際中每個詞語表達了不同的信息量,同樣的詞語在不同詞語組合中包含的信息量或者說表達的語義信息大不相同.What about 句法分析,計算句法樹的相似度?這個比前兩種方法更靠譜些,因為句法樹很好的描述了詞語在句子中的地位.實際效果要待實驗證實.
對了,還有一種方法translation model,IBM在機器翻譯領域的一大創舉,需要有大量的語料庫進行訓練才能得到理想的翻譯結果.當然包括中間詞語對齊結果,如果能夠利用web資源建立一個高質量的語料庫對兩兩相似句對通過EM迭代詞語對齊,由詞語對齊生成句子相似度,這個.想想還是不錯的方法!

⑸ 常見的相似度度量演算法

本文目錄：

  定義在兩個向量（兩個點）上：點x和點y的歐式距離為：

  常利用歐幾里得距離描述相似度時，需要取倒數歸一化，sim = 1.0/(1.0+distance)，利用numpy實現如下：

python實現歐式距離

  從名字就可以猜出這種距離的計算方法了。想像你在曼哈頓要從一個十字路口開車到另外一個十字路口，駕駛距離是兩點間的直線距離嗎？顯然不是，除非你能穿越大樓。實際駕駛距離就是這個「曼哈頓距離」。而這也是曼哈頓距離名稱的來源， 曼哈頓距離也稱為城市街區距離(City Block distance)。

  (1)二維平面兩點a(x1,y1)與b(x2,y2)間的曼哈頓距離

  (2)兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的曼哈頓距離

   python實現曼哈頓距離：

  國際象棋玩過么？國王走一步能夠移動到相鄰的8個方格中的任意一個。那麼國王從格子(x1,y1)走到格子(x2,y2)最少需要多少步？自己走走試試。你會發現最少步數總是max( | x2-x1 | , | y2-y1 | ) 步 。有一種類似的一種距離度量方法叫切比雪夫距離。

  (1)二維平面兩點a(x1,y1)與b(x2,y2)間的切比雪夫距離

  (2)兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的切比雪夫距離

   python實現切比雪夫距離：

  閔氏距離不是一種距離，而是一組距離的定義。

  兩個n維變數a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的閔可夫斯基距離定義為：

  其中p是一個變參數。

  當p=1時，就是曼哈頓距離

  當p=2時，就是歐氏距離

  當p→∞時，就是切比雪夫距離

  根據變參數的不同，閔氏距離可以表示一類的距離。

  閔氏距離，包括曼哈頓距離、歐氏距離和切比雪夫距離都存在明顯的缺點。

  舉個例子：二維樣本(身高,體重)，其中身高范圍是150 190，體重范圍是50 60，有三個樣本：a(180,50)，b(190,50)，c(180,60)。那麼a與b之間的閔氏距離（無論是曼哈頓距離、歐氏距離或切比雪夫距離）等於a與c之間的閔氏距離，但是身高的10cm真的等價於體重的10kg么？因此用閔氏距離來衡量這些樣本間的相似度很有問題。

  簡單說來，閔氏距離的缺點主要有兩個：

  (1)將各個分量的量綱(scale)，也就是「單位」當作相同的看待了。

  (2)沒有考慮各個分量的分布（期望，方差等)可能是不同的。

  標准歐氏距離的定義

  標准化歐氏距離是針對簡單歐氏距離的缺點而作的一種改進方案。標准歐氏距離的思路：既然數據各維分量的分布不一樣，好吧！那我先將各個分量都「標准化」到均值、方差相等吧。均值和方差標准化到多少呢？這里先復習點統計學知識吧，假設樣本集X的均值(mean)為m，標准差(standard deviation)為s，那麼X的「標准化變數」表示為：

  而且標准化變數的數學期望為0，方差為1。因此樣本集的標准化過程(standardization)用公式描述就是：

  標准化後的值 = ( 標准化前的值 － 分量的均值 ) /分量的標准差

  經過簡單的推導就可以得到兩個n維向量a(x11,x12,…,x1n)與 b(x21,x22,…,x2n)間的標准化歐氏距離的公式：

  如果將方差的倒數看成是一個權重，這個公式可以看成是一種加權歐氏距離(Weighted Euclidean distance)。

  有M個樣本向量X1~Xm，協方差矩陣記為S，均值記為向量μ，則其中樣本向量X到u的馬氏距離表示為：

  而其中向量Xi與Xj之間的馬氏距離定義為：

  若協方差矩陣是單位矩陣（各個樣本向量之間獨立同分布）,則公式就成了：

  也就是歐氏距離了。

  若協方差矩陣是對角矩陣，公式變成了標准化歐氏距離。

  馬氏距離的優缺點：量綱無關，排除變數之間的相關性的干擾。

  幾何中夾角餘弦可用來衡量兩個向量方向的差異，機器學習中借用這一概念來衡量樣本向量之間的差異。

  在二維空間中向量A(x1,y1)與向量B(x2,y2)的夾角餘弦公式：

  兩個n維樣本點a(x11,x12,…,x1n)和b(x21,x22,…,x2n)的夾角餘弦

  類似的，對於兩個n維樣本點a(x11,x12,…,x1n)和b(x21,x22,…,x2n)，可以使用類似於夾角餘弦的概念來衡量它們間的相似程度。

  即：

  夾角餘弦取值范圍為[-1,1]。夾角餘弦越大表示兩個向量的夾角越小，夾角餘弦越小表示兩向量的夾角越大。當兩個向量的方向重合時夾角餘弦取最大值1，當兩個向量的方向完全相反夾角餘弦取最小值-1。

python實現餘弦相似度：

  兩個等長字元串s1與s2之間的漢明距離定義為將其中一個變為另外一個所需要作的最小替換次數。例如字元串「1111」與「1001」之間的漢明距離為2。

  應用：信息編碼（為了增強容錯性，應使得編碼間的最小漢明距離盡可能大）。

python實現漢明距離：

  兩個集合A和B的交集元素在A，B的並集中所佔的比例，稱為兩個集合的傑卡德相似系數，用符號J(A,B)表示。

  傑卡德相似系數是衡量兩個集合的相似度一種指標。

  與傑卡德相似系數相反的概念是傑卡德距離(Jaccard distance)。傑卡德距離可用如下公式表示：

  傑卡德距離用兩個集合中不同元素占所有元素的比例來衡量兩個集合的區分度。

  可將傑卡德相似系數用在衡量樣本的相似度上。

  樣本A與樣本B是兩個n維向量，而且所有維度的取值都是0或1。例如：A(0111)和B(1011)。我們將樣本看成是一個集合，1表示集合包含該元素，0表示集合不包含該元素。

  p ：樣本A與B都是1的維度的個數

  q ：樣本A是1，樣本B是0的維度的個數

  r ：樣本A是0，樣本B是1的維度的個數

  s ：樣本A與B都是0的維度的個數

  這里p+q+r可理解為A與B的並集的元素個數，而p是A與B的交集的元素個數。

  而樣本A與B的傑卡德距離表示為：

  皮爾遜相關系數即為相關系數 ( Correlation coefficient )與相關距離(Correlation distance)

  相關系數的定義

  相關系數是衡量隨機變數X與Y相關程度的一種方法，相關系數的取值范圍是[-1,1]。相關系數的絕對值越大，則表明X與Y相關度越高。當X與Y線性相關時，相關系數取值為1（正線性相關）或-1（負線性相關）。

1. 機器學習中的相似性度量

2. 推薦演算法入門（1）相似度計算方法大全

3. Python Numpy計算各類距離

4. 皮爾遜積矩相關系數

⑹ 全面歸納距離和相似度計算方法

距離(distance，差異程度)、相似度(similarity，相似程度)方法可以看作是以某種的距離函數計算元素間的距離，這些方法作為機器學習的基礎概念，廣泛應用於如：Kmeans聚類、協同過濾推薦演算法、相似度演算法、MSE損失函數等等。本文對常用的距離計算方法進行歸納以及解析，分為以下幾類展開：

對於點x=(x1,x2...xn) 與點y=(y1,y2...yn) , 閔氏距離可以用下式表示：

閔氏距離是對多個距離度量公式的概括性的表述，p=1退化為曼哈頓距離；p=2退化為歐氏距離；切比雪夫距離是閔氏距離取極限的形式。

曼哈頓距離 公式：

歐幾里得距離公式：

如下圖藍線的距離即是曼哈頓距離（想像你在曼哈頓要從一個十字路口開車到另外一個十字路口實際駕駛距離就是這個「曼哈頓距離」，此即曼哈頓距離名稱的來源，也稱為城市街區距離），紅線為歐幾里得距離：

切比雪夫距離起源於國際象棋中國王的走法，國際象棋中國王每次只能往周圍的8格中走一步，那麼如果要從棋盤中A格(x1,y1)走到B格(x2,y2)最少需要走幾步？你會發現最少步數總是max(|x2-x1|,|y2-y1|)步。有一種類似的一種距離度量方法叫切比雪夫距離。

切比雪夫距離就是當p趨向於無窮大時的閔氏距離：

距離函數並不一定是距離度量，當距離函數要作為距離度量，需要滿足：

由此可見，閔氏距離可以作為距離度量，而大部分的相似度並不能作為距離度量。

閔氏距離也是Lp范數（如p==2為常用L2范數正則化）的一般化定義。
下圖給出了一個Lp球（ ||X||p = 1 ）的形狀隨著P的減少的可視化圖：

距離度量隨著空間的維度d的不斷增加，計算量復雜也逐增，另外在高維空間下，在維度越高的情況下，任意樣本之間的距離越趨於相等（樣本間最大與最小歐氏距離之間的相對差距就趨近於0），也就是維度災難的問題，如下式結論：

對於維度災難的問題，常用的有PCA方法進行降維計算。

假設各樣本有年齡，工資兩個變數，計算歐氏距離（p=2）的時候，(年齡1-年齡2)² 的值要遠小於(工資1-工資2)² ，這意味著在不使用特徵縮放的情況下，距離會被工資變數（大的數值）主導, 特別當p越大，單一維度的差值對整體的影響就越大。因此，我們需要使用特徵縮放來將全部的數值統一到一個量級上來解決此問題。基本的解決方法可以對數據進行「標准化」和「歸一化」。

另外可以使用馬氏距離（協方差距離），與歐式距離不同其考慮到各種特性之間的聯系是（量綱）尺度無關 (Scale Invariant) 的，可以排除變數之間的相關性的干擾，缺點是誇大了變化微小的變數的作用。馬氏距離定義為：

馬氏距離原理是使用矩陣對兩兩向量進行投影後，再通過常規的歐幾里得距離度量兩對象間的距離。當協方差矩陣為單位矩陣，馬氏距離就簡化為歐氏距離；如果協方差矩陣為對角陣，其也可稱為正規化的歐氏距離。

根據向量x,y的點積公式：

我們可以利用向量間夾角的cos值作為向量相似度[1]：

餘弦相似度的取值范圍為：-1~1，1 表示兩者完全正相關，-1 表示兩者完全負相關，0 表示兩者之間獨立。餘弦相似度與向量的長度無關，只與向量的方向有關，但餘弦相似度會受到向量平移的影響（上式如果將 x 平移到 x+1, 餘弦值就會改變）。

另外，歸一化後計算歐氏距離，等價於餘弦值：兩個向量x,y, 夾角為A，歐氏距離D=(x-y)^2 = x ^2+y 2-2|x||y|cosA = 2-2cosA

協方差是衡量多維數據集中，變數之間相關性的統計量。如下公式X，Y的協方差即是，X減去其均值 乘以 Y減去其均值，所得每一組數值的期望（平均值）。

如果兩個變數之間的協方差為正值，則這兩個變數之間存在正相關，若為負值，則為負相關。

皮爾遜相關系數數值范圍也是[-1，1]。皮爾遜相關系數可看作是在餘弦相似度或協方差基礎上做了優化（變數的協方差除以標准差）。它消除每個分量標准不同（分數膨脹）的影響，具有平移不變性和尺度不變性。

卡方檢驗X2，主要是比較兩個分類變數的關聯性、獨立性分析。如下公式，A代表實際頻數；E代表期望頻數：

Levenshtein 距離是 編輯距離 (Editor Distance) 的一種，指兩個字串之間，由一個轉成另一個所需的最少編輯操作次數。允許的編輯操作包括將一個字元替換成另一個字元，插入一個字元，刪除一個字元。
像hallo與hello兩個字元串編輯距離就是1，我們通過替換」a「 為 」e「，就可以完成轉換。

漢明距離為兩個等長字元串對應位置的不同字元的個數，也就是將一個字元串變換成另外一個字元串所需要替換的字元個數。例如：1011101 與 1001001 之間的漢明距離是 2，「toned」 與 「roses」 之間的漢明距離是 3

另外的，對於字元串距離來說，不同字元所佔的份量是不一樣的。比如」我樂了「 與【「我怒了」，」我樂了啊」 】的Levenshtein 距離都是1，但其實兩者差異還是很大的，因為像「啊」這種語氣詞的重要性明顯不如「樂」，考慮字元（特徵）權重的相似度方法有：TF-IDF、BM25、WMD演算法。

Jaccard 取值范圍為0~1，0 表示兩個集合沒有重合，1 表示兩個集合完全重合。

但Dice不滿足距離函數的三角不等式，不是一個合適的距離度量。

基礎地介紹下信息熵，用來衡量一個隨機變數的不確定性程度。對於一個隨機變數 X，其概率分布為：

互信息用於衡量兩個變數之間的關聯程度，衡量了知道這兩個變數其中一個，對另一個不確定度減少的程度。公式為：

如下圖，條件熵表示已知隨機變數X的情況下，隨機變數Y的信息熵，因此互信息實際上也代表了已知隨機變數X的情況下，隨機變數Y的(信息熵)不確定性的減少程度。

JS 散度解決了 KL 散度不對稱的問題，定義為：

群體穩定性指標（Population Stability Index，PSI）， 可以看做是解決KL散度非對稱性的一個對稱性度量指標，用於度量分布之間的差異（常用於風控領域的評估模型預測的穩定性）。

psi與JS散度的形式是非常類似的，如下公式：

PSI的含義等同P與Q，Q與P之間的KL散度之和。

DTW 距離用於衡量兩個序列之間的相似性，適用於不同長度、不同節奏的時間序列。DTW採用了動態規劃DP（dynamic programming）的方法來進行時間規整的計算，通過自動warping扭曲 時間序列（即在時間軸上進行局部的縮放），使得兩個序列的形態盡可能的一致，得到最大可能的相似度。(具體可參考[5])

圖結構間的相似度計算，有圖同構、最大共同子圖、圖編輯距離、Graph Kernel 、圖嵌入計算距離等方法（具體可參考[4][6]）。

度量學習的對象通常是樣本特徵向量的距離，度量學習的關鍵在於如何有效的度量樣本間的距離，目的是通過訓練和學習，減小或限制同類樣本之間的距離，同時增大不同類別樣本之間的距離，簡單歸類如下[2]：

最後，附上常用的距離和相似度度量方法[3]：

⑺ 論文查重的標準是什麼

1.以段落計，低於5%的抄襲或引用是檢測不出來的，假如檢測段落1有10000字，那麼引用單篇文獻500字以下，是不會被檢測出來的。
2.知網論文檢測的條件是連續13個字相似或抄襲都會被紅字標注，但是要滿足上面的前提才會標紅。 意思就是，段落重復超過5%，然後連續13字相似就算抄襲。
更多知網查重規則可見：揭秘：知網論文查重的規則及檢測原理
然後PaperPass的計算公式是：（句子1相似度+句子2相似度+...+句子n相似度）/ n
句子相似度范圍0.0~1.0 綠色句子相似度按照0計算
句子相似度超過40%就會計算重復率。
意思就是把文章分成若干個句子，13個字裡面，有5個字相同，這個句子就會計算相似度。
還有一點就是，PaperPass的資料庫比知網小。

隨著科技的不斷進步，人們接觸「高等知識」的方式越來越多，也有越來越多的人開始撰寫論文，不管是即將畢業的大學生需要寫的畢業論文，還是非畢業生撰寫的自選論文或者期刊論文。而提到論文就不得不提到論文重查檢測，對於絕大多數人來說，論文查重率一定是一個頭疼的問題，那麼論文查重檢測的內容和重查標準是什麼？
一、論文重查檢測內容
為了杜絕抄襲、代寫、剽竊等學術不端的現象出現，要求論文查重率是必要的措施。查重系統在進行查重主要檢測摘要、正文、結尾、聲明、目錄等文字形式的內容。但論文並不僅僅是由文字構成的，一篇完整且質量高的論文還應包括數據、圖表、圖片或者表格等內容，這部分非文字形式的內容多數情況下是不做要求的，而一些要求較高的高校或期刊也會對非文字內容進行查重。
二、論文重查的標准
大多數高校對本科生畢業論文的查重率要求為不超過30％，要求比較嚴格的高校會把查重率提高到20％，碩士與博士的論文重查標准會相對提高很多，大多數高校對碩士論文要求查重率在10％至30％之間，博士論文要求查重率5％至20％之間。而對於職稱期刊論文來說，高級核心期刊論文對重查要求最高，其標准為小於8％至15％。
三、論文重查檢測操作
論文可以通過學校內部查重系統進行查重，學生只需要進入查重系統，將自己信息錄入後上傳論文即可，不過校外查重價格會相對高一些，學生可以使用Paperfree論文重查系統進行對初稿的查重，這個系統的查重結果同樣也具有權威性，而且提供幾萬字免費查重機會。