带标签的数据类型 Python

Question

我正在计算一个点和多个线段之间的测地线距离。每条线段都有一个唯一的标识号。我想从我的距离函数返回距离，以便它们本质上是联系在一起的。我还想保持功能，如对距离进行排序，并用标签或位置对它们进行索引，并取回距离数据和标签。类似于带有索引的 Pandas 系列，但我不能使用系列，因为数据返回到 Pandas DataFrame 中，然后扩展系列并弄得一团糟。这是一个例子：

In [1]: '''Note that all this happens inside an apply function of a Pandas Series'''
        labels = [25622, 25621, 25620, 25619, 25618]
        dist = vect_dist_funct(pt, labels) #vect_dist_funct does the computations, and returns distances in meters
        dist
Out[1]: array([296780.2217658355, 296572.4476883276, 296364.21166884096,
               296156.4366241771, 295948.6610171968], dtype=object)

然而，我想要的是这样的 dict，其中标签和距离本质上是相互关联的：

{25622 : 296780.2217658355,
 25621 : 296572.4476883276,
 25620 : 296364.21166884096,
 25619 : 296156.4366241771,
 25618 : 295948.6610171968}

但现在我失去了这些值的功能。我不能轻易地对它们进行排序，或者比较它们，或者任何东西。我查看了Numpy Structured Arrays，它们似乎可行，但如果我无法对距离进行排序并获得最近段的索引，那么它对我来说没有多大用处。还有其他我可以使用的数据类型吗？

长篇故事和背景

我正在尝试进行空间连接。通过在 RTree (example) 中搜索，我得到了一个点最有可能接近的段的索引。这些是标签中的索引。然后我查看线几何表以找到这些选定标签的线几何，并计算点到每个线段的距离。

接下来的步骤涉及检查空间连接的完整性。在某些情况下，最近不是最佳连接候选者，连接需要在其他参数上进行评估。因此，我的计划是从最近的部分向外工作。这将涉及对距离进行排序，并获取最近段的索引，然后使用该索引查看段表并提取线的其他属性以进行检查。如果可以确认匹配，则接受该段，否则，将其拒绝，并且算法将移动到下一个最近的段。

我正在寻找一种能够完成所有这些工作的数据类型，而不会破坏计算它的段的距离之间的联系。

使用 Pandas 的问题

这就是函数的实际调用方式：

joined = points['geometry'].apply(pointer, centroid=line['centroid'], tree_idx=tree_idx))

然后在pointer 内部，会发生这种情况：

def pointer(point, centroid, tree_idx):
    intersect = list(tree_idx.intersection(point.bounds))
    if len(intersect) > 0:
        points = pd.Series([point.coords[0]]*len(intersect)).values
        polygons = centroid.loc[intersect].values
        dist = vect_dist_funct(points, polygons)
        return pd.Series(dist, index=intercept, name='Dist').sort_values()
    else:
        return pd.Series(np.nan, index=[0], name='Dist')

然后，joined 看起来像这样：

这是因为未计算所有点（行是点）和所有线（列是线）之间的距离。这成本太高了（4M 点，每个状态 180k 行，整个数据集有 50 个状态）。此外，与我返回两个 Numpy 数组时相比，生成 joined 的这个 DataFrame 合并操作将运行时间增加了 7 倍。返回两个 Numpy 数组的问题在于，要始终保持距离和行 ID 对齐并不容易。

点、线、tree_idx 示例

请注意，这是在列和行中截断的数据集。我只包括相关列，而不包括其余数据：

点数：

                        geometry
id      
88400001394219  0.00    POINT (-105.2363291 39.6988139)
                0.25    POINT (-105.2372017334178 39.69899060448157)
                0.50    POINT (-105.2380177896182 39.69933953105642)
                0.75    POINT (-105.2387202141595 39.69988447162143)
                1.00    POINT (-105.2393222 39.7005405)
88400002400701  0.00    POINT (-104.7102833 39.8318348)
                0.25    POINT (-104.7102827 39.831966625)
                0.50    POINT (-104.7102821 39.83209845)
                0.75    POINT (-104.7102815 39.832230275)
                1.00    POINT (-104.7102809 39.8323621)

所以这基本上是线上的插值点。 line id 是第一级索引，第二级是插值点的百分比。这形成了第一个数据集，我想将第二个数据集中的一些属性带到该数据集。

行：

        geometry                                            centroid
id      
71345   POLYGON ((-103.2077992965318 40.58026765162965...   (-103.20073265160862, 40.576450381964975)
71346   POLYGON ((-103.2069505830457 40.58155121711739...   (-103.19987394433825, 40.57774903464972)
71347   POLYGON ((-103.2061017677045 40.58283487609803...   (-103.19901204453959, 40.57905245493993)
71348   POLYGON ((-103.2052000154291 40.58419853220472...   (-103.19815200508097, 40.58035300329024)
71349   POLYGON ((-103.2043512639656 40.58548197865339...   (-103.19729445792181, 40.58164972491414)
71350   POLYGON ((-103.2035025651746 40.5867652936463,...   (-103.1964362470977, 40.5829473948391)
71351   POLYGON ((-103.2026535431035 40.58804903349249...   (-103.19557847342394, 40.58424434094705)
71352   POLYGON ((-103.201804801526 40.58933229190573,...   (-103.19472966696722, 40.58552767098465)
71353   POLYGON ((-103.2009557884142 40.59061590473365...   (-103.19388484652855, 40.58680427447224)
71354   POLYGON ((-103.2001001699726 40.59190793446012...   (-103.19303392095904, 40.5880882237994)

这是第二个数据集的一部分（这个答案开头提到的标签是这个数据集的索引）。目标是以智能的方式将属性从该数据集传输到点数据集。第一步是找到离每个点最近的线。然后，我将比较 points 数据集中的一些属性与lines 数据集，并确认或拒绝连接，就像我提到的那样。

tree_idx：

tree_idx 是使用以下代码创建的：

import rtree
lines_bounds = lines['geometry'].apply(lambda x: x.bounds)
tree_idx = rtree.index.Index()
for i in lines_bounds.index:
    tree_idx.insert(i, lines_bounds.loc[i])

Answer 1

在一切之后，在尝试让 TheBlackCat 的答案工作了大约 3 个小时之后，我决定使用xarray。所以现在pointer 函数看起来像这样：

def pointer(point, centroid, tree_idx):
    intersect = list(tree_idx.intersection(point.bounds))
    if len(intersect) > 0:
        points = pd.Series([point.coords[0]]*len(intersect)).values
        polygons = centroid.loc[intersect].values
        dist = vect_dist_funct(points, polygons)
        sorter = np.argsort(dist)
        return xr.DataArray(dist[sorter], [('dim0', np.asarray(intersect)[sorter])])
    else:
        return xr.DataArray(np.nan)

完成。这适合我的需要。我有它们一起计算的距离和段 ID，这样一个上的转换会影响另一个。而且距离还是可以操作的，xarray还给了我分组、合并等高级功能。

此外，在 0.1% 的数据上运行一个状态大约需要 1 分钟，而 10% 的数据需要 10 分钟。因此，我预计 100% 的数据大约是 100 分钟。但老实说，即使一个状态需要 3 个小时，我仍然可以在一天内完成所有 50 个状态（在 16 核服务器上使用多线程）。所以我暂时对此感到满意。感谢我得到的所有建议。尤其是@TheBlackCat、@michael_j_ward 和@hpaulj。

Answer 2

所以我认为您的整体问题是您正在创建一个DataFrame，其中列标签是intercept 值。我认为您想要做的是创建一个DataFrame，其中一列包含截距值，而另一列包含距离。我会尝试为您提供我认为会有所帮助的代码，但是如果没有您的原始数据就很难确定，因此您需要对其进行一些修改才能使其完美运行。

首先，我将修改vect_dist_funct，因此如果第一个参数是标量，它会创建正确长度的列表，如果第二个参数为空，则返回NaN。

接下来我会将所有有用的值作为列添加到 DataFrame：

points['intersect'] = points['geometry'].apply(lambda x: np.array(tree_idx.intersection(x.bounds)))
points['polygons'] = points['intersect'].apply(lambda x: centroid.loc[x].values)
points['coords0'] = points['geometry'].apply(lambda x: x.coords[0])
points['dist'] = points.apply(lambda x: vect_dist_funct(x.coords0, x.polygons), axis=1)

这将为您提供一个包含所有距离的列。如果您真的希望截距值可访问，则可以创建一个仅包含截距和距离的 DataFrame，然后将截距作为另一个多索引级别，以避免过多的 NaN 值：

pairs = points.apply(lambda x: pd.DataFrame([x['intersect'], x['dist']], index=['intersect', 'dist']).T.stack(), axis=1)
pairs = pairs.stack(level=0).set_index('intersect', append=True)
pairs.index = pairs.index.droplevel(level=2)

这应该会给你一个Series，其中第一个索引是 id，第二个是百分比，第三个是相交，值是距离。

Answer 3

所以，我认为索引为标签的数据框可能是最简单的

distances = {25622 : 296780.2217658355,
 25621 : 296572.4476883276,
 25620 : 296364.21166884096,
 25619 : 296156.4366241771,
 25618 : 295948.6610171968}

df = pd.DataFrame([tup for tup in distances.items()],columns=["label", "dist"]).sort_values('dist').set_index('label')
df

输出：

    dist
label   
25618   295948.661017
25619   296156.436624
25620   296364.211669
25621   296572.447688
25622   296780.221766

那么如果你想通过标签名称访问距离

df.loc[25620]
Out:
dist    296364.211669
Name: 25620, dtype: float64

然后，如果您想找到“靠近”该点的标签，您可以使用

获取行号

row_num = df.index.get_loc(25620)
print(row_num)
Out: 2

然后您可以使用df.iloc[row_number] 访问“附近”点

df.iloc[3]
Out: 
dist    296572.447688
Name: 25621, dtype: float64

这涵盖了您需要的一切吗？