如何从地理数据框中快速删除相同的几何图形？

Question

我在 for 循环中使用 itertools.combinations() 对项目执行地理数据框修改。我检查没有重复的几何图形，在我的例子中是 LineString。如果是，我删除其中一个。

pandas drop_duplicates() 方法在这里不起作用，因为我们正在处理点坐标的空间几何，这些点坐标可能分布不同，但由相同的 LineString 表示。

import geopandas
import itertools

gdf = geopandas.read_file('example.geojson')
for a, b in itertools.combinations(gdf.geometry, 2):
    if a.equals(b) == True:
        try:
            gdf.drop(gdf[gdf['geometry'] == b].index.values, inplace=True)
        except:
            continue

gdf.to_file('example.geojson', driver='GeoJSON')

此代码运行良好，但我的文件可能非常大。对于大文件，执行时间很长。有更快的方法吗？

我正在考虑通过将所有几何图形存储在矩阵中来使用 numpy。但我不确定如何在矩阵上使用带有 numpy 的 equals() 方法（来自shapely）。感谢您的帮助。

来自example.geojson 的地理数据框看起来像：

                                               geometry  
0       LINESTRING (42.70275 9.94481, 42.70030 9.94783)  
1       LINESTRING (42.70030 9.94783, 42.70275 9.94481)  
2       LINESTRING (42.70275 9.94481, 42.69700 9.97133)  
3       LINESTRING (42.69700 9.97133, 42.70275 9.94481)  
4      LINESTRING (42.60179 10.34216, 42.70030 9.94783) 
...

解决方案。 这是一个完整的解决方案，灵感来自@DanielKonstantinov 解决方案和deduplicate。我们将 GeoDataFrame 或 GeoSeries 作为输入，然后将其修改后返回。

import numpy as np
import geopandas as gpd
from shapely.geometry import LineString

def solution(frame):
    linestring = frame.geometry
    coordinates = [list(x.coords) for x in linestring]
    matrix = np.array(coordinates)
    result = deduplicate(matrix)
    final_result = [list(map(tuple, pair)) for pair in result.tolist()]
    lines = [LineString(pair) for pair in final_result]
    return gpd.GeoSeries(lines)

Answer 1

import numpy as np


def deduplicate(geo_data: np.ndarray # shape == (N, 4)
        ) -> np.ndarray:             # deduplicated data with origin order
    data = geo_data.reshape(-1, 2, 2)
    dt = f'f{data.itemsize}' # f4 or f8
    data = data.view([('x', dt), ('y', dt)]) 
    # eliminate differences
    ixs = np.argsort(data, -2, order=('x', 'y'))
    data_no_df = np.take_along_axis(data, ixs, axis=-2) # sorted by 'x' then by 'y'
    # get unique
    unique_sorted_data, uni_ixs = np.unique(data_no_df, True, axis=0)
    uni_ixs.sort() # inplace sort 1d-array
    data_deduplicated = geo_data[uni_ixs] # unique, originally ordered and shaped
    return data_deduplicated


def _test():
    geo_data = np.array([[42.70275,  9.94481, 42.7003 ,  9.94783],
                         [42.7003 ,  9.94783, 42.70275,  9.94481],
                         [42.70275,  9.94481, 42.697  ,  9.97133],
                         [42.697  ,  9.97133, 42.70275,  9.94481],
                         [42.60179, 10.34216, 42.7003 ,  9.94783]])
    data_deduplicated = deduplicate(geo_data)
    print(data_deduplicated)

>>> _test()
[[42.70275  9.94481 42.7003   9.94783]
 [42.70275  9.94481 42.697    9.97133]
 [42.60179 10.34216 42.7003   9.94783]]

large_data = np.random.randint(0, 10, size=(1000, 4)).astype('d')

%timeit deduplicate(large_data)
1.98 ms ± 9.37 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)