【问题标题】:Memory leak when trying to free array of CString尝试释放 CString 数组时发生内存泄漏
【发布时间】:2019-09-23 11:56:10
【问题描述】:

以下(MCVE 如果编译为称为libffitestcdylib,则需要libc 作为依赖项)演示了该问题:

use libc::{c_char, c_void, size_t};
use std::ffi::CString;
use std::mem;
use std::slice;

#[repr(C)]
#[derive(Clone)]
pub struct Array {
    pub data: *const c_void,
    pub len: size_t,
}

#[no_mangle]
pub unsafe extern "C" fn bar() -> Array {
    let v = vec![
        CString::new("Hi There").unwrap().into_raw(),
        CString::new("Hi There").unwrap().into_raw(),
    ];
    v.into()
}

#[no_mangle]
pub extern "C" fn drop_word_array(arr: Array) {
    if arr.data.is_null() {
        return;
    }
    // Convert incoming data to Vec so we own it
    let mut f: Vec<c_char> = arr.into();
    // Deallocate the underlying c_char data by reconstituting it as a CString
    let _: Vec<CString> = unsafe { f.iter_mut().map(|slice| CString::from_raw(slice)).collect() };
}

// Transmute to array for FFI
impl From<Vec<*mut c_char>> for Array {
    fn from(sl: Vec<*mut c_char>) -> Self {
        let array = Array {
            data: sl.as_ptr() as *const c_void,
            len: sl.len() as size_t,
        };
        mem::forget(sl);
        array
    }
}

// Reconstitute from FFI
impl From<Array> for Vec<c_char> {
    fn from(arr: Array) -> Self {
        unsafe { slice::from_raw_parts_mut(arr.data as *mut c_char, arr.len).to_vec() }
    }
}

我认为通过将传入的Array 重构为一个切片,将其所有权作为Vec,然后将元素重构为CString,我正在释放所有分配的内存,但我显然在做某事错误的。执行这个 Python 脚本告诉我它正在尝试释放一个未分配的指针: python(85068,0x10ea015c0) malloc: *** error for object 0x7ffdaa512ca1: pointer being freed was not allocated

import sys
import ctypes
from ctypes import c_void_p, Structure, c_size_t, cast, POINTER, c_char_p

class _FFIArray(Structure):
    """
    Convert sequence of structs to C-compatible void array

    """
    _fields_ = [("data", c_void_p),
                ("len", c_size_t)]


def _arr_to_wordlist(res, _func, _args):
    ls = cast(res.data, POINTER(c_char_p * res.len))[0][:]
    print(ls)
    _drop_wordarray(res)


prefix = {"win32": ""}.get(sys.platform, "lib")
extension = {"darwin": ".dylib", "win32": ".dll"}.get(sys.platform, ".so")
lib = ctypes.cdll.LoadLibrary(prefix + "ffitest" + extension)

lib.bar.argtypes = ()
lib.bar.restype = _FFIArray
lib.bar.errcheck = _arr_to_wordlist
_drop_wordarray = lib.drop_word_array

if __name__ == "__main__":
    lib.bar()

【问题讨论】:

  • 它试图告诉您,您正在尝试释放未分配的指针在哪里?在没有分析或展开的情况下跟踪这些内存泄漏是很痛苦的。
  • "让 mut f: Vec = arr.into();" ???
  • @Stargateur 我不关注。 Vec&lt;c_char&gt;into impl 来自 Array - 这是 Rust 块中的最后一个函数。
  • 以及为什么所有代码​​你都不做let mut f: Vec&lt;*mut c_char&gt; = arr.into(); 你是否意识到c_char 不是*mut c_char 那个非常基本的。你在这里触发 UB

标签: python rust ffi


【解决方案1】:

嗯,这是一个有趣的经历。

您的最大问题是以下转换:

impl From<Array> for Vec<c_char> {
    fn from(arr: Array) -> Self {
        unsafe { slice::from_raw_parts_mut(arr.data as *mut c_char, arr.len).to_vec() }
    }
}

您从 FFI 边界以外的字符串数组(即*mut *mut c_char)开始。出于某种原因,您突然决定它是Vec&lt;c_char&gt; 而不是Vec&lt;*const c_char&gt;,正如您对CString 转换所期望的那样。这就是 UB #1 - 也是您在释放后使用的原因。

由于类型之间不断的杂耍,不必要的复杂转换使事情变得更加混乱。如果您的 FFI 边界是 Vec&lt;CString&gt;,为什么要将返回拆分为两个单独的调用?这确实是在召唤灾难,因为它发生了。

考虑以下几点:

impl From<Array> for Vec<CString> {
    fn from(arr: Array) -> Self {
        unsafe {
          slice::from_raw_parts(
            arr.data as *mut *mut c_char,
            arr.len
          )
            .into_iter().map(|r| CString::from_raw(*r))
            .collect()
        }
    }
}

这为您提供了一步 FFI 边界转换(无需在您的方法中使用第二个 unsafe 块)、干净的类型并且没有泄漏。

【讨论】:

  • 啊,是的,这是有道理的。 *mut *mut 部分让我绊倒了。谢谢!
猜你喜欢
  • 1970-01-01
  • 2015-01-13
  • 2012-06-08
  • 2016-11-03
  • 2014-09-19
  • 2011-01-27
  • 1970-01-01
  • 2012-04-03
  • 2020-07-22
相关资源
最近更新 更多