【问题标题】:Map of <int, void*> in Shared Memory using Boost::interprocess使用 Boost::interprocess 在共享内存中映射 <int, void*>
【发布时间】:2012-11-26 19:22:49
【问题描述】:

我正在尝试在以下类型的共享内存中构建一个映射

我这样创建共享内存区域:

 managed_shared_memory segment(create_only ,"MyMap"  ,size);       

ShMemAllocator_t alloc_inst (segment.get_segment_manager());

 map =   segment.construct<MyMap_t>("MyMap")      
                             (std::less<int>() 
                             ,alloc_inst); 

地图中的值如下:

       typedef pair<MutexType, boost::interprocess::offset_ptr<void> > ValueType ; 

MutexType 本身就是一个包含读写互斥锁的结构(使用 read_lock 和 write_lock); 定义如下:

typedef struct  mutex_struct{ 
   sharable_lock<interprocess_mutex> read_lock(interprocess_mutex, defer_lock); 
  scoped_lock<interprocess_mutex> write_lock(interprocess_mutex, defer_lock); 
} MutexType;

“size”是map的总大小(以对象计,即所有void指针指向的数据大小之和)。

如何确保这个 void* 数据也位于我创建的这个内存段中,如何在现有的共享内存区域中实例化它)。这样做的原因是我只想分配这个大缓冲区一次但重复地删除/添加对象(映射模型缓存)我还没有找到一种方法可以在同一个内存段中分配多个对象地图内。此外,寻求分配 MutexType 对会返回一个编译错误,指出没有提供“调用”运算符。

【问题讨论】:

    标签: c++ boost ipc shared-memory


    【解决方案1】:

    你基本上已经在那里了。调用您在共享内存SecondValue_t 中分配的任何对象类型。代替ShMemAllocator_t,定义一个不同的进程间分配器类型,比如SecondValueAllocator_t,用于分配SecondValue_t 对象。每当您想将ValueType 对象插入映射时,ValueType 对象的第二个值将分配给SecondValueAllocator_t 实例。

    这是一个完整的例子,部分使用my answer中的代码为Interprocess reader/writer lock with Boost

    #include <cstdlib>
    #include <functional>
    #include <iostream>
    #include <string>
    #include <utility>
    
    #include <boost/scope_exit.hpp>
    #include <boost/interprocess/managed_shared_memory.hpp>
    #include <boost/interprocess/allocators/allocator.hpp>
    #include <boost/interprocess/allocators/private_node_allocator.hpp>
    #include <boost/interprocess/containers/map.hpp>
    #include <boost/interprocess/sync/interprocess_upgradable_mutex.hpp>
    #include <boost/interprocess/sync/scoped_lock.hpp>
    #include <boost/interprocess/sync/sharable_lock.hpp>
    #include <boost/interprocess/sync/upgradable_lock.hpp>
    
    #define SHARED_MEMORY_NAME "SO13783012-MyMap"
    
    // https://stackoverflow.com/questions/13783012/map-of-int-void-in-shared-memory-using-boostinterprocess
    
    using namespace boost::interprocess;
    
    typedef int SecondValue_t;
    typedef allocator<SecondValue_t, managed_shared_memory::segment_manager> SecondValueAllocator_t;
    
    typedef struct mutex_struct {
        //...
    } MutexType;
    
    typedef std::pair<MutexType, SecondValueAllocator_t::pointer> ValueType;
    
    typedef map<int, ValueType>::value_type MyMapValueType;
    typedef allocator<MyMapValueType, managed_shared_memory::segment_manager> MyMapEntryAllocator_t;
    typedef map<int, ValueType, std::less<int>, MyMapEntryAllocator_t> MyMap_t;
    
    struct shared_data {
    private:
        typedef boost::interprocess::interprocess_upgradable_mutex upgradable_mutex_type;
    
        mutable upgradable_mutex_type mutex;
        MyMap_t my_map;
    
    public:
        shared_data(const MyMapEntryAllocator_t& alloc)
            : my_map(MyMap_t::key_compare(), alloc)
        {
        }
    
        // Tries to get the mapped value for the given key `k'. If successful, the mapped value is
        // copied into `out' and `true' is returned. Otherwise, returns `false' and does not modify
        // `out'.
        bool try_get(MyMap_t::mapped_type& out, MyMap_t::key_type k) const {
            boost::interprocess::sharable_lock<upgradable_mutex_type> lock(mutex);
            MyMap_t::const_iterator pos = my_map.find(k);
            if (pos != my_map.end()) {
                out = pos->second;
                return true;
            }
            return false;
        }
    
        void put(MyMap_t::key_type k, MyMap_t::mapped_type v) {
            boost::interprocess::scoped_lock<upgradable_mutex_type> lock(mutex);
            my_map.insert(MyMap_t::value_type(my_map.size(), v));
        }
    };
    
    int main(int argc, char *argv[])
    {
        if (argc != 2) {
            std::cerr << "Usage: " << argv[0] << " WHICH\n";
            return EXIT_FAILURE;
        }
    
        const std::string which = argv[1];
    
        if (which == "parent") {
            shared_memory_object::remove(SHARED_MEMORY_NAME);
            BOOST_SCOPE_EXIT(argc) {
                shared_memory_object::remove(SHARED_MEMORY_NAME);
            } BOOST_SCOPE_EXIT_END;
            managed_shared_memory shm(create_only, SHARED_MEMORY_NAME, 65536);
    
            MyMapEntryAllocator_t entry_alloc(shm.get_segment_manager());
            shared_data& d = *shm.construct<shared_data>("theSharedData")(entry_alloc);
    
            SecondValueAllocator_t second_value_alloc(shm.get_segment_manager());
    
            // Insert some test data.
            SecondValueAllocator_t::pointer p;
            p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, -3);
            d.put(0, std::make_pair(MutexType(), p));
            p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, 70);
            d.put(1, std::make_pair(MutexType(), p));
            p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, -18);
            d.put(2, std::make_pair(MutexType(), p));
            p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, 44);
            d.put(3, std::make_pair(MutexType(), p));
            p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, 0);
            d.put(4, std::make_pair(MutexType(), p));
    
            // Go to sleep for a minute - gives us a chance to start a child process.
            sleep(60);
        } else {
            managed_shared_memory shm(open_only, SHARED_MEMORY_NAME);
            std::pair<shared_data *, std::size_t> find_res = shm.find<shared_data>("theSharedData");
            if (!find_res.first) {
                std::cerr << "Failed to find `theSharedData'.\n";
                return EXIT_FAILURE;
            }
            shared_data& d = *find_res.first;
    
            MyMap_t::mapped_type v;
            int i = 0;
            for (; d.try_get(v, i); ++i) {
                std::cout << i << ": " << *v.second << '\n';
            }
    
            // Add an entry.
            srand(time(NULL));
            SecondValueAllocator_t second_value_alloc(shm.get_segment_manager());
            SecondValueAllocator_t::pointer p = second_value_alloc.allocate(1);
            second_value_alloc.construct(p, (rand() % 200) - 100);
            d.put(i, v = std::make_pair(MutexType(), p));
            std::cout << "placed " << *v.second << " into the map.\n";
        }
    
        return EXIT_SUCCESS;
    }
    

    先启动父进程来测试一下:

    ./SO13783012 父级

    然后是一些孩子:

    ./SO13783012 孩子

    样本输出:

    > ./SO13783012 孩子 0:-3 1:70 2:-18 3:44 4:0 将 5:-63 放入地图。 > ./SO13783012 孩子 0:-3 1:70 2:-18 3:44 4:0 5:-63 将6:-42放入地图。 > ./SO13783012 孩子 0:-3 1:70 2:-18 3:44 4:0 5:-63 6:-42 将7:-28放入地图。

    【讨论】:

    • (我知道这有点老了,但是)我注意到作者锁在你的例子中并没有真正起作用。如果您产生多个编写器子项,则 i 的值可能未定义,并且您将尝试使用相同的值插入一对,由于并发问题 - 如果该示例应该显示在最后一个键之后添加另一个条目 - 则 put 方法应该收集地图的当前大小并在 size+1 处插入元素。
    • 嗨@Steve,我不确定我是否关注。为什么i 的值是未定义的?
    • 在 for 循环中 - 您计算 ++i 直到 d.try_get 没有返回值 - 假设 i 现在是 10。稍后,您尝试将键 i=10 与 d 放在一起。 put(i, v = std::make_pair(MutexType(), p));。如果同时另一个子写入进程已经将某些内容放入地图中 - 10 将是重复的。假设有 2 个子编写器——每个编写器一次执行一行——都到达 i=10,但 child1 首先放置一个新条目,i=10——因此第二个孩子将失败。那是因为 i=10 在任何写/读锁之外
    • @Steve:啊!是的,你是对的。感谢您指出这一点。
    【解决方案2】:

    你可以在分配器中使用重新绑定

    //    convert an allocator<T> to allocator<U>
    template<typename U>
    struct rebind {
        typedef Allocator<U> other;
    };
    

    制作一个

    typedef std::allocator< char, managed_shared_memory::segment_manager > char_alloc;
    

    然后像这样分配你的内存

    char_alloc char_alloc_obj;
    char * ptr = new (char_alloc_obj.allocate(size)) char[size];
    void * vptr = (void *) ptr;
    

    默认的 std::allocator 是无状态的。共享内存分配器将具有状态,因此您需要弄清楚如何在不同类型的分配器之间复制状态。

    【讨论】:

      猜你喜欢
      • 2012-09-06
      • 1970-01-01
      • 2020-10-19
      • 1970-01-01
      • 2012-11-05
      • 1970-01-01
      • 2015-09-10
      • 1970-01-01
      • 2015-02-14
      相关资源
      最近更新 更多