【问题标题】:Compile-time re-arrangement of data members?数据成员的编译时重新排列?
【发布时间】:2013-09-29 06:52:51
【问题描述】:

我想知道一种使类的内存布局在模板化代码中更有效的可能方法。据我所知,标准要求类的数据成员按照声明的顺序排列在内存中。编译器可能会进行填充以对齐数据成员,从而不必要地增加类的大小。这个想法是在编译时重新排列数据成员声明以最小化这种填充。我做了一些搜索,但找不到任何信息(大多数时候人们讨论打包编译器指令,这与我看到的不太一样)。

首先,请考虑以下(琐碎,但重复且丑陋)代码(same code on ideone.com)(问题在代码下方,请随意直接跳到它们):

#include <iostream>
#include <cstdint>

namespace so
{
template <typename Ta, typename Tb, typename Tc, std::size_t =
    ((sizeof(Ta) >= sizeof(Tb)) && (sizeof(Tb) >= sizeof(Tc))) ? 10 :
    ((sizeof(Ta) >= sizeof(Tc)) && (sizeof(Tc) >= sizeof(Tb))) ? 11 :
    ((sizeof(Tb) >= sizeof(Ta)) && (sizeof(Ta) >= sizeof(Tc))) ? 20 :
    ((sizeof(Tb) >= sizeof(Tc)) && (sizeof(Tc) >= sizeof(Ta))) ? 21 :
    ((sizeof(Tc) >= sizeof(Ta)) && (sizeof(Ta) >= sizeof(Tb))) ? 30 :
    ((sizeof(Tc) >= sizeof(Tb)) && (sizeof(Tb) >= sizeof(Ta))) ? 31 : 0>
struct foo {};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 10>
{
  Ta a;
  Tb b;
  Tc c;
  foo(Ta _a, Tb _b, Tc _c) : a{_a}, b{_b}, c{_c} {}
};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 11>
{
  Ta a;
  Tc c;
  Tb b;
  foo(Ta _a, Tb _b, Tc _c) : a{_a}, c{_c}, b{_b} {}
};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 20>
{
  Tb b;
  Ta a;
  Tc c;
  foo(Ta _a, Tb _b, Tc _c) : b{_b}, a{_a}, c{_c} {}
};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 21>
{
  Tb b;
  Tc c;
  Ta a;
  foo(Ta _a, Tb _b, Tc _c) : b{_b}, c{_c}, a{_a} {}
};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 30>
{
  Tc c;
  Ta a;
  Tb b;
  foo(Ta _a, Tb _b, Tc _c) : c{_c}, a{_a}, b{_b} {}
};

template <typename Ta, typename Tb, typename Tc>
struct foo<Ta, Tb, Tc, 31>
{
  Tc c;
  Tb b;
  Ta a;
  foo(Ta _a, Tb _b, Tc _c) : c{_c}, b{_b}, a{_a} {}
};

template <typename Ta, typename Tb, typename Tc>
struct bar: public foo<Ta, Tb, Tc>
{
 private:
  using base = foo<Ta, Tb, Tc>;
 public:
  bar() = default;
  using base::base;
};

template <typename Ta, typename Tb, typename Tc>
struct foobar
{
  Ta a;
  Tb b;
  Tc c;
  foobar() = default;
  foobar(Ta _a, Tb _b, Tc _c) : a{_a}, b{_b}, c{_c} {}
};
} //namespace so

int main()
{
 so::bar<std::uint16_t, std::uint32_t, std::uint16_t> bar{1, 2, 3};
 so::foobar<std::uint16_t, std::uint32_t, std::uint16_t> foobar{1, 2, 3};

 std::cout << sizeof(bar) << "\t" << sizeof(foobar) << std::endl;

 std::cout << bar.a << " : " << bar.b << " : " << bar.c << std::endl;
 std::cout << foobar.a << " : " << foobar.b << " : " << foobar.c << std::endl;

 return (0);
}

程序输出:

8   12
1 : 2 : 3
1 : 2 : 3

问题:

  1. 是否有一些众所周知的、独立于编译器的方法来解决此类问题(也许是 Boost)?
  2. 如果没有,是否有一些特定于编译器的指令会自动执行此类操作(不会像 GCC 的 __atribute__((packed)) 那样发生数据错位)?
  3. 能否以更通用的方式完成(可能使用可变参数模板)?

提前致谢!

【问题讨论】:

  • 提示:我相信你可以通过使用继承来解决重复问题,这为可变参数模板打开了大门,但是这将严重依赖编译器并且代码可能没有那么优雅(又名,你将不得不使用函数来访问元素,例如get&lt;0&gt;(foo))。我还要注意,在某些架构double 上,您只查看大小而不是对齐方式,长度为 8 个字节,但在 4 个字节边界上对齐,因此您的计算可能不是最佳的。
  • @MatthieuM。当我们展开参数包并使用某种get&lt;&gt; 来浏览它时,您的意思是某种递归继承吗?对齐可以处理alignof()/std::alignment_of&lt;&gt;,我想 - 感谢您指出这一点。
  • 实际上,我的主要问题是不幸的是你不能在属性中使用包扩展(烦人),并且有多种方法可以处理它......然后我意识到我在检查时已经审查了这些方法std::tuple 是如何实现的,而不是尝试使用继承技巧重新实现它们,我可以简单地重用 std::tuple :D

标签: c++ class templates datamember memory-layout


【解决方案1】:

我相信我有一个相对简单的可变参数模板解决方案。

不过,该实现需要几个助手,所以我将向后介绍它,以便您首先了解它的要点。

template <typename... Args>
class OptimizedLayout {
public:
    template <size_t I>
    auto at() -> decltype(std::get<Index<I>::value>(_storage)) {
        return std::get<Index<I>::value>(_storage);
    }

    template <size_t I>
    auto at() const -> decltype(std::get<Index<I>::value>(_storage)) {
        return std::get<Index<I>::value>(_storage);
    }

private:
    using Indexed = /**/; // pairs of sorted Args (by decreasing size)
                          // and their original index in the argument list

    using Storage = /*std::tuple<Indexed.first ...>*/;

    template <size_t I>
    using Index = /*index of element of Indexed whose .second is I*/;

    Storage _storage;
}; // class OptimizedLayout

这里的主要好处是更改如何打包元素只会影响Indexed 的定义方式,因此您可以轻松改进算法。现在,我将只提供与您的模板等效的内容。


免责声明:以下代码未经测试,甚至可能无法编译,更不用说产生正确的结果了。

我。生成索引。

解释可以在the lounge 上找到,我们可以重复使用它来生成一组对(类型,索引)。为了对其进行排序,我们将使用 MPL 算法,因此将包生成为 MPL vector 更简单。

template <std::size_t... Is>
struct indices {};

template <std::size_t N, std::size_t... Is>
struct build_indices
  : build_indices<N-1, N-1, Is...> {};

template <std::size_t... Is>
struct build_indices<0, Is...> { using type = indices<Is...>; };

template <typename Tuple, typename Indices>
struct IndexedImpl;

template <typename... T, size_t... I>
struct IndexedImpl< std::tuple<T...>, indices<I...> > {
    using type = boost::mpl::vector< std::pair<T, I>... >;
};

template <typename Tuple>
using Indexed =
    IndexedImpl<Tuple, typename build_indices<std::tuple_size<Tuple>::value>::type>;

二。排序

为了排序,我们将使用MPL sort algorithm,它对类型进行操作。

struct GreaterSize {
    template <typename T, typename U>
    struct apply {
         using type = boost::mpl::bool_<sizeof(T) > sizeof(U)>;
    };
};

template <typename T>
struct TupleInserter {
    using state = T;

    template <typename Seq, typename E>
    struct apply;
};

template <typename T>
template <typename... Args, typename E>
struct TupleInserter<T>::apply<std::tuple<Args...>, E> {
    using type = std::tuple<Args..., E>;
};

template <typename Tuple>
using SortedSequence = boost::mpl::sort<
    typename Indexed<Tuple>::type,
    GreaterSize,
    TupleInserter
>;

三。计算存储类

现在,我们只需要通过提取每对的第一个元素来计算存储类。有趣的是,模式匹配在这里真的可以提供帮助。

template <typename T>
struct TupleFirstExtractor;

template <typename... T, size_t... I>
struct TupleFirstExtractor<std::tuple<std::pair<T, I>...>> {
    using type = std::tuple<T...>;
}; 

四。计算索引求解器

template <typename Tuple, size_t Needle, size_t Acc>
struct IndexFinderImpl;

template <typename H, size_t h, typename... Tail, size_t Needle, size_t Acc>
struct IndexFinderImpl<std::tuple<std::pair<H,h>, Tail...>, Needle, Acc>:
    IndexFinderImpl<std::tuple<Tail...>, Needle, Acc+1> {};

template <typename H, typename... Tail, size_t Needle, size_t Acc>
struct IndexFinderImpl<std::tuple<std::pair<H, Needle>, Tail...>, Needle, Acc>:
    std::integral_constant<size_t, Acc> {};

V.把它们放在一起

现在我们把所有东西都连接起来了:

template <typename... Args>
class OptimizedLayout {
public:
    template <size_t I>
    auto at() -> decltype(std::get<Index<I>::value>(_storage)) {
        return std::get<Index<I>::value>(_storage);
    }

    template <size_t I>
    auto at() const -> decltype(std::get<Index<I>::value>(_storage)) {
        return std::get<Index<I>::value>(_storage);
    }

private:
    using Indexed = typename SortedSequence<std::tuple<Args...>>::type;

    using Storage = typename TupleFirstExtractor<Indexed>::type;

    template <size_t I>
    using Index = IndexFinderImpl<Indexed, I, 0>;

    Storage _storage;
}; // class OptimizedLayout

提示:我建议使用专门的命名空间来保存所有助手。虽然它们可以在模板中定义,但在外部定义它们更容易,因为它们不依赖于Args...,但是您需要隔离它们以避免与程序的其他部分发生冲突。

【讨论】:

  • +1 感谢您提供如此详细的细分。一旦我有更多时间,我将研究它并尝试完全实现它。我认为,在那之后我应该能够更新问题并接受您的回答。再次感谢您指出在这种情况下使用 sizeof() 的不足之处。你说的对,应该是alignof()
  • @PetrBudnik:请注意,在阅读了 R. Martinho Fernandes 的博客系列后,我意识到不能保证 std::tuple 会按照您传递元素的顺序放置元素。因此,我实际上建议您采用他的实施方式;虽然我会在这里回答这个问题,因为它足够小,很容易摸到。
  • 是的,我阅读了比较 libc++libstdc++ std::tuple 的布局的部分(以及关于 GCC 4.7.2 错误)。但是您发表了一篇全面而迅速的帖子,详细介绍了它的逻辑并提供了一些有用的参考。我真的很喜欢它给我留出尝试的空间。我只是想通过实际行动来伸张正义(也许在这个过程中问几个问题)。
  • 但是,真的,“你找到了我”alignof()。让我想到了像 char[10] 这样作为模板参数传递的东西,事实上,原始评论中的“sizeof() 可能不是最佳的”行远远超过慷慨;) .
  • @PetrBudnik:实际上,大多数时候你可以通过减小大小来对元素进行排序,所以即使它不完美,它仍然相当可靠。
【解决方案2】:

看看 R. Martinho Fernandes 的这一系列博客文章:http://flamingdangerzone.com/cxx11/2012/07/06/optimal-tuple-i.html

它概述了元组的最佳包装。您可以使用这样的“打包”元组作为类的数据存储,并提供隐藏get&lt;0&gt;() 样式元组元素访问的访问器。

【讨论】:

  • 非常有趣的系列,但是快速概述挑战/解决方案会很好地充实这个答案。
  • 是的,好吧,我不是这些帖子的作者,我不想将解决方案作为我的...也许我应该把它作为评论发布.. .
  • 我当然不介意这是一个答案,这是一本最有趣的读物,实际上指出了我自己的答案中的一个缺陷:我盲目地假设 std::tuple 会按顺序排列不幸的是,它不便携。
  • +1 有趣的阅读,感谢分享。等我有时间再详细介绍一下。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2019-03-16
  • 1970-01-01
  • 2018-01-13
  • 1970-01-01
  • 1970-01-01
  • 2010-09-20
  • 2019-04-30
相关资源
最近更新 更多