相關性排名（relevancy ranking）是資訊檢索中的一個核心問題，也是搜索引擎等應用中的一個基礎工具[
1]。它通常使用tf-idf權重等算法來評估文檔對於用戶查詢的相關程度[
2][
3]。這些算法可以使用向量空間模型（VSM）等方法來計算查詢和文檔之間的相似度得分，然後通過對這些得分進行排序來決定文檔的相對排名[
3][
4]。在搜索引擎等應用中，還可以使用top-k精度、精確度@k和召回率@k等指標來評估算法的效果[
7]。此外，相關性排名不僅限於文本搜索，它也可以應用於其他類型的數據，只要這些數據可以表示為向量或矩陣[
5]。
Tokenization是將文本分成token的過程，可用於自然語言處理和機器學習等領域。以下是常用的tokenization技術：空格tokenization：將文本按空格切割成單詞或詞語。
分段tokenization：將文本按段落或句子分成多個段落或句子。
字元tokenization：將文本按字元分成單個字元。
正規化tokenization：將文本轉換為小寫，去除標點符號、特殊符號和數字等非文本字符。
n-gram tokenization：將文本分成固定的n個token，可以是單詞、字符或詞語等。
有監督學習tokenization：使用機器學習算法訓練一個分詞器，將文本分成token。
字典tokenization：使用預先定義的單詞字典將文本分成token。
詞幹提取tokenization：將單詞轉換為其基本形式或詞幹，以減少語料庫的大小。
這些技術在不同的應用中都有廣泛的使用，可以根據特定的需求選擇適當的tokenization技術[
1][
3][
5]。
在中文自然語言處理中，Tokenization是一個重要的步驟，它可以將一個句子或一段文字轉換成一個可以被機器理解的標記序列。以下是一些有關中文Tokenization的資訊：
傳統上，中文Tokenization是基於漢字的，即將每個漢字視為一個Token。然而，一些最近的研究表明，將中文分成更小的單位，例如詞和字，可以提高某些中文自然語言處理任務的性能[
1]。
Sub-word Tokenization是另一種常用的中文Tokenization方法，它將中文文字分成一系列子單位，例如n-gram或者基於統計模型的子詞[
3]。
有些中文自然語言處理任務需要使用詞性標記，因此在Tokenization過程中需要考慮詞的邊界。中文詞性標記器可以幫助完成這一步驟[
5]。
有一些開源庫可以幫助實現中文Tokenization，例如jieba、snownlp和THULAC。這些庫都有自己獨特的Tokenization算法，並且支持詞性標記[
8]。
總之，在中文自然語言處理中，Tokenization是一個必要的步驟，可以幫助將中文文字轉換成機器可讀的標記序列。在Tokenization過程中，可以使用漢字、詞或字等不同的單位，取決於不同的任務和算法。
向量空間模型（VSM）是文本檢索中的一種基本方法，由Salton等人於20世紀70年代提出[
3]，成功應用於著名的SMART文本檢索系統。它將用戶的查詢要求和資料庫文檔信息表示成由檢索項構成的向量空間中的點，通過計算向量之間的距離來判定文檔和查詢之間的相似程度[
1][
3]。 VSM將文檔表示成一個向量，其中向量的維度是由所選擇的關鍵字數量決定的，並且每個向量的值是該關鍵字在文檔中的詞頻或權重，常用的權重計算方法是TF-IDF[
2][
5]。通過將查詢轉換成向量，可以使用相似度計算方法來計算每個文檔與查詢之間的相似度，進而對文檔進行排名，最終將相似度最高的文檔返回給用戶[
6]。
TF-IDF是用於計算單詞在一篇文章中的重要程度的一種數值統計方法。它的全名是Term Frequency-Inverse Document Frequency。TF-IDF通常被用作信息檢索、文本探勘和用戶建模的權重因子[
1]。在TF-IDF中，TF是指某個詞在一篇文章中出現的次數，IDF是指該詞在整個文集中出現的頻率。TF-IDF算法會計算所有詞彙在整個文集中的TF-IDF值，並把它們儲存在一個矩陣裡面[
6]。
TF-IDF可以用於對文本進行分類、關鍵字提取等任務，它的主要原理是：如果某個詞在一篇文章中出現的次數越多，同時在整個文集中出現的次數越少，那麼該詞對於這篇文章來說越重要[
4]。簡單來說，TF-IDF可以幫助我們找到一個文章中最關鍵的詞，這些詞可以用來幫助我們了解文章的主題和內容。
在TF-IDF計算中，通常會先把文章中一些常見的詞稱為“停用詞”，並且在計算TF-IDF時將它們排除在外[
9]。例如，“is”、“the”、“a”等詞在許多文章中都會頻繁出現，但並不是文章主題的關鍵詞，因此在計算TF-IDF時就可以將它們忽略不計[
5]。
總結來說，TF-IDF是一種統計方法，可以幫助我們找到文章中最重要的詞，以便更好地了解文章的主題和內容。它可以用於文本分類、關鍵字提取等任務，並且通常會排除常見詞彙，以提高準確性。
TF-IDF是一種常見的詞權重計算方法，但是除了TF-IDF，還有很多其他的文本相似度計算方法。以下是一些TF-IDF的替代方法[
1][
2][
3][
4][
5]：
Word2Vec：一種基於神經網絡的詞向量表示方法，可以根據單詞在文本中的上下文生成向量表示，能夠反映單詞之間的語義相似度。可以使用Word2Vec計算文本相似度[
1][
3]。
GloVe：一種利用全局語境信息訓練單詞嵌入的技術。GloVe嵌入可以用於文本分類、情感分析和機器翻譯等任務[
1]。
Doc2Vec：一種基於Word2Vec的文檔向量表示方法。Doc2Vec可以將文檔表示為向量，並計算文檔之間的相似度[
1]。
LSA（潛在語意分析）：一種用於文本相似度計算的方法，可以將文本表示為低維度的向量表示，同時保留詞語之間的語義信息[
1]。
LDA（潛在狄利克雷分配）：一種將文本表示為主題的概率分布的方法。LDA可以將文本表示為向量，並計算文本之間的相似度[[1](
https://towardsdatascience.comWord2Vec
Word2Vec is a more sophisticated approach to text analysis that can provide better results compared to simple techniques like TF-IDF. Instead of just counting words in a document, Word2Vec tries to understand the context of a word by examining its surrounding words. By doing this, it can better understand the meaning of a word and make more accurate predictions about its importance in a document.
[
3]Latent Dirichlet Allocation (LDA)
Latent Dirichlet Allocation (LDA) is a statistical model that allows you to discover the hidden topics in a collection of documents. It works by assuming that each document is a mixture of a small number of topics, and each topic is a mixture of a small number of words. LDA can help you identify the underlying themes in your text data and group documents into different categories based on those themes.
[
11]TextRank
TextRank is a graph-based algorithm that can be used to identify the most important words and phrases in a document. It works by constructing a graph where each node represents a word or phrase in the document, and edges between nodes represent the strength of the relationship between those words or phrases. TextRank can help you identify the key concepts and themes in your text data.
[
11]Paragraph Vector (Doc2Vec)
Paragraph Vector (also known as Doc2Vec) is an extension of Word2Vec that can be used to generate document-level embeddings. It works by adding an additional vector to the Word2Vec model that represents each document in the corpus. By training the model to predict the words in a document given its context, the model learns to generate a unique vector representation for each document. Paragraph Vector can be used for tasks such as document classification, clustering, and similarity analysis.
[
11]BM25
BM25 (Best Matching 25) is a ranking function that can be used to score the relevance of documents to a particular search query. It is an extension of the TF-IDF weighting scheme that takes into account the length of documents and the frequency of query terms in the corpus. BM25 can be used for tasks such as document retrieval and search ranking.
[
11]
總結來說，除了TF-IDF之外，還有許多其他技術可以用於文本分析和自然語言處理。Word2Vec、LDA、TextRank、Paragraph Vector和BM25等技術都可以用於不同的任務，如文檔分類、聚類、相似性分析和搜索排名。選擇哪種技術取決於您的具體需求和數據。
計算向量相關度的演算法
當處理自然語言文本時，TF-IDF是一種常用的詞向量權重計算方法。除此之外，還有其他的演算法可以用於計算向量的相關度。以下列出幾種主要的演算法：
標準化內積（Cosine Similarity）：這是一種常用的計算兩個向量之間相似度的演算法。它通過計算兩個向量的標準化內積來計算它們之間的相似度。Cosine Similarity 非常適用於文本分類、相似度搜尋等 NLP 應用。[
6][
10]
歐幾里德距離（Euclidean Distance）：該演算法通過計算兩個向量之間的歐幾里德距離來測量它們之間的相似度。歐幾里德距離越小，表示兩個向量越相似。[
2]
曼哈頓距離（Manhattan Distance）：該演算法也稱為城市街區距離（City Block Distance），通過計算兩個向量之間的曼哈頓距離來測量它們之間的相似度。[
2]
Jaccard 相似度（Jaccard Similarity）：該演算法通過計算兩個向量的交集和聯集之間的比例來測量它們之間的相似度。Jaccard 相似度越高，表示兩個向量越相似。[
3]
這些演算法都有其優點和缺點，根據不同的需求和應用場景，可以選擇不同的演算法。