【发布时间】：2017-12-13 17:13:24
【问题描述】：
继续my earlier question to serialize bitsets以避免在相同数据上重复创建bimap，因此请保存bimap并在需要时加载。
我选择boost::bimap 将数据（以位集）存储在<key,value> 对中，因为它使用散列技术并且需要O(1) 操作来搜索。 bimap 可能有 4000 万个位集条目，并希望执行以下操作。
在尽可能短的时间内在
bimap中插入位集。 Answer to my earlier question takes more time（与 2 下给出的散列函数相比，25 万个位集条目接近 5 秒，是 5 倍）。出于同样的原因，使用了unordered_set_of和unordered_multiset_of。-
我希望
bimap消耗尽可能少的内存并避免复制，这与下面的哈希函数不同。namespace std { template <typename Block, typename Alloc> struct hash<boost::dynamic_bitset<Block, Alloc> > { using bitset_type = boost::dynamic_bitset<Block, Alloc>; using block_type = typename bitset_type::block_type ; size_t operator()(boost::dynamic_bitset<Block, Alloc> const& bs) const { thread_local static std::vector<block_type> block_data; auto blocks = bs.num_blocks(); block_data.assign(blocks, 0); to_block_range(bs, block_data.begin()); return boost::hash<std::vector<block_type>>()(block_data); } }; } O(1) 搜索键/值。
在短时间内加载 bimap。 Again, loading bimap takes much time（对于包含 25 万个条目、大小为 12 MB 的双图，需要将近 20 秒）。
所以我想实现my already asked question的1、2、3和4，答案代码@sehe如下所示。
#include <boost/archive/binary_iarchive.hpp>
#include <boost/archive/binary_oarchive.hpp>
#include <boost/bimap.hpp>
#include <boost/bimap/unordered_multiset_of.hpp>
#include <boost/bimap/unordered_set_of.hpp>
#include <boost/dynamic_bitset/serialization.hpp>
#include <fstream>
#include <iostream>
#include <string>
#include <boost/iostreams/device/back_inserter.hpp>
#include <boost/iostreams/stream_buffer.hpp>
#include <boost/iostreams/stream.hpp>
#include <boost/functional/hash.hpp>
namespace serial_hashing { // see https://stackoverflow.com/questions/30097385/hash-an-arbitrary-precision-value-boostmultiprecisioncpp-int
namespace io = boost::iostreams;
struct hash_sink {
hash_sink(size_t& seed_ref) : _ptr(&seed_ref) {}
typedef char char_type;
typedef io::sink_tag category;
std::streamsize write(const char* s, std::streamsize n) {
boost::hash_combine(*_ptr, boost::hash_range(s, s+n));
return n;
}
private:
size_t* _ptr;
};
template <typename T> struct hash_impl {
size_t operator()(T const& v) const {
using namespace boost;
size_t seed = 0;
{
iostreams::stream<hash_sink> os(seed);
archive::binary_oarchive oa(os, archive::no_header | archive::no_codecvt);
oa << v;
}
return seed;
}
};
}
namespace std {
template <typename Block, typename Alloc> struct hash<boost::dynamic_bitset<Block, Alloc> >
: serial_hashing::hash_impl<boost::dynamic_bitset<Block, Alloc> >
{};
} // namespace std
namespace bimaps = boost::bimaps;
using Bitset = boost::dynamic_bitset<>;
typedef boost::bimap<
bimaps::unordered_set_of<Bitset, std::hash<Bitset> >,
bimaps::unordered_multiset_of<Bitset, std::hash<Bitset> > > Index;
int main() {
using namespace std::string_literals;
{
std::cout << "# Writing binary file ... " << std::endl;
Index index;
index.insert({Bitset("10010"s), Bitset("1010110110101010101"s)});
std::ofstream ofs("binaryfile", std::ios::binary);
boost::archive::binary_oarchive oa(ofs);
oa << index;
}
{
std::cout << "# Loading binary file ... " << std::endl;
std::ifstream ifs("binaryfile", std::ios::binary); // name of loading file
boost::archive::binary_iarchive ia(ifs);
Index index;
ia >> index;
}
}
编辑
目标
我有一个真实的例子，我有一个大字符串，例如 2000 或更多百万个字符，例如 40-1 亿个长度为 200 或更多字符的短字符串。我的目标是在大字符串中搜索这些短字符串。我想为大字符串创建bimap的位集，然后在bimap中搜索短字符串。我还想过使用unordered 来快速插入和搜索，这与ordered 不同。
密钥位集长度约为 3-40（一次所有组合）。
值位集长度在 100-2000 左右（一次只有一个，例如如果它是 100，那么所有值条目将在 90-110 左右）。
【问题讨论】：
标签： c++ serialization boost boost-bimap