python中的反向排序和argsort

Question

我正在尝试用 Python 编写一个函数（仍然是一个菜鸟！），它返回按 tfidf 分数的内积排序的文档的索引和分数。程序是：

• 计算 doc idx 与所有其他文档之间的内积向量
• 降序排列
• 将“分数”和索引从第二个返回到末尾（即不是自身）

我现在的代码是：

import h5py
import numpy as np

def get_related(tfidf, idx) :
    ''' return the top documents '''

    # calculate inner product   
    v = np.inner(tfidf, tfidf[idx].transpose())

    # sort
    vs = np.sort(v.toarray(), axis=0)[::-1]
    scores = vs[1:,]

    # sort indices
    vi = np.argsort(v.toarray(), axis=0)[::-1]
    idxs = vi[1:,] 

    return (scores, idxs)

其中tfidf 是sparse matrix of type '<type 'numpy.float64'>'。

这似乎效率低下，因为排序执行了两次（sort() 然后argsort()），然后必须反转结果。

• 这可以更有效地完成吗？
• 是否可以在不使用toarray() 转换稀疏矩阵的情况下做到这一点？

Answer 1

我认为没有必要跳过toarray。 v 数组将只有n_docs 长，在实际情况下与n_docs × n_terms tf-idf 矩阵的大小相形见绌。此外，它会非常密集，因为两个文档共享的任何术语都会使它们具有非零相似性。稀疏矩阵表示只有在您存储的矩阵 非常 稀疏时才会得到回报（我已经看到 Matlab 的 >80% 的数据并假设 Scipy 会相似，尽管我没有确切的图）。

双重排序可以通过做跳过

v = v.toarray()
vi = np.argsort(v, axis=0)[::-1]
vs = v[vi]

顺便说一句，您在稀疏矩阵上使用np.inner 不适用于最新版本的 NumPy；获取两个稀疏矩阵的内积的安全方法是

v = (tfidf * tfidf[idx, :]).transpose()