如何将向量拆分为 n 个“几乎相等”的部分

Question

我有一个问题，我想使用 ImageMagick 的 convert.exe 合并大量图像，但在 Windows 下我有 8192 字节长的命令行限制。

我对此的解决方案是将任务拆分为较小的子任务，运行它们，然后执行将它们组合在一起的最终任务。

我的想法是编写一个函数，它接受一个图像向量和一个整数，并将向量拆分为 n 个子向量，所有子向量都具有“几乎相等”的部分。

例如，如果我想将 11 人分成 3 组，那就是 4-4-3。

你能告诉我如何在 C++ 中做到这一点吗？我的意思是，写一个函数

split_vec( const vector<image> &images, int split )

哪个分裂？

另外，你能告诉我如果我不需要创建新向量，只需遍历子部分，最有效的方法是什么吗？像std::substr 函数和std::string 一样吗？

注意：我已经在项目中使用了 Boost，所以如果 Boost 中有一些不错的工具，那么它对我来说是完美的。

Answer 1

要获得每个部分大小的基数，只需将总和除以部分数：11/3 = 3。显然，某些部分需要大于该值才能获得正确的总和，但是这只是余数：11 % 3 = 2。所以现在您知道其中 2 个部分的尺寸为 3+1，剩下的部分将是 3。

Answer 2

CreateProcess has a 32kb limit

或者，如果你想通过 shell，

vec::const_iterator i = vec .begin ();
vec::const_iterator j = i + stride;

while (j < vec .end ()) {
    do_range (i, j);
    i = j;
    j += stride;
}

do_range (i, vec .end ());

Answer 3

您可以使用iterators 来遍历问题的子部分。迭代器的用法类似于指向vector元素的指针

你想对图像做的事情可以实现为一个函数

using namespace std; 
void do_some_work(vector<image>::iterator begin, vector<image>::iterator end) {
    vector<image>::iterator i = begin ;
    while(i != end) {
        // do something using *i , which will be of type image
        ++i ;
    }
}

Answer 4

您是否考虑过使用xargs 程序。这可能是问题的高级解决方案。

Answer 5

您不必创建新的子向量，使用如下所示：

size_t ProcessSubVec(const vector<Image>& images, size_t begin, size_t end)
{
    // your processing logic
}

void SplitVec(const vector<Image>& images, int cnt)
{
    size_t SubVecLen = images.size() / cnt,
           LeftOvers = images.size() % cnt,
           i = 0;

    // Split into "cnt" partitions
    while(i < images.size())
        i += ProcessSubVec(images, i, i + SubVecLen + (LeftOvers-- == 0 ? 0 : 1));
}

希望这会有所帮助。

Answer 6

这是我的解决方案：

template<typename T>
std::vector<std::vector<T>> SplitVector(const std::vector<T>& vec, size_t n)
{
    std::vector<std::vector<T>> outVec;

    size_t length = vec.size() / n;
    size_t remain = vec.size() % n;

    size_t begin = 0;
    size_t end = 0;

    for (size_t i = 0; i < std::min(n, vec.size()); ++i)
    {
        end += (remain > 0) ? (length + !!(remain--)) : length;

        outVec.push_back(std::vector<T>(vec.begin() + begin, vec.begin() + end));

        begin = end;
    }

    return outVec;
}

Answer 7

您可以创建一个返回 std::vector 的模板 并接收要分割的向量和分割数。 使用 for 和迭代器非常简单。

#include <iostream>
#include <iomanip>
#include <vector>
#include <algorithm>
#include <numeric>

template<typename T>
std::vector< std::vector<T> > split(std::vector<T> vec, uint64_t n) {
  std::vector< std::vector<T> > vec_of_vecs(n);

  uint64_t quotient = vec.size() / n;
  uint64_t reminder = vec.size() % n;
  uint64_t first = 0;
  uint64_t last;
  for (uint64_t i = 0; i < n; ++i) {
    if (i < reminder) {
      last = first + quotient + 1;
      vec_of_vecs[i] = std::vector<T>(vec.begin() + first, vec.begin() + last);
      first = last;
  }
    else if (i != n - 1) {
    last = first +  quotient;
    vec_of_vecs[i] = std::vector<T>(vec.begin() + first, vec.begin() + last);
    first = last;
  }
    else
    vec_of_vecs[i] = std::vector<T>(vec.begin() + first, vec.end());
}

return vec_of_vecs;
}

#define ONE_DIMENSION 11
#define SPLITS 3

int main(void)
{
  std::vector<uint64_t> vector(ONE_DIMENSION);
  std::iota(std::begin(vector), std::end(vector), 1);

  std::vector<std::vector<uint64_t>> vecs(SPLITS);
  vecs = split(vector, SPLITS);

  for (uint64_t m = 0; m < vecs.size(); ++m) {
    for (auto i : vecs[m])
      std::cout << std::setw(3) << i << " ";
    std::cout << std::endl;
  }


  return 0;
}