【问题标题】:Efficient ways to append new data in Matlab (with example code)在 Matlab 中追加新数据的有效方法(附示例代码)
【发布时间】:2017-10-11 07:52:31
【问题描述】:

我正在寻找方法、内置函数、良好做法...将新数据附加到矩阵 - 当行和列不同时

我处理的数据结构如下:

A.values: Ta x Ma matrix of values
A.dates:  Ta x 1 vector of datenum
A.id:     1 x Ma cell array of ids

现在的挑战是如何处理我加载并希望附加到新矩阵C 的新(可能重叠)数据B

当新数据进来时,它可以水平和垂直扩展,原因是:

  • 新 ID
  • 新日期

它也可以有开始于之前min(A.dates)之后max(A.dates)介于min(A.dates)max(A.dates)之间的日期。 id 在 B 中可以是唯一的(全新的),也可以是重叠的。

这是一个例子:

A.values = [2.1 2.4 2.5 2.6; ...
            4.1 4.4 4.5 4.6; ...
            6.1 6.4 6.5 6.6];
A.dates  = [730002; ...
            730004; ...
            730006];
A.id     = {'x1', 'x4', 'x5', 'x6'};

现在新数据进来了:

B.values = [1.2 1.9 1.5 1.6 1.7; ...
            3.2 3.9 3.5 3.6 3.7; ...
            7.2 7.9 7.5 7.6 7.7; ...
            8.2 8.9 8.5 8.6 8.7];
B.dates  = [730001; ...
            730003; ...
            730007; ...
            730008];
B.id     = {'x2', 'x9', 'x5', 'x6', 'x7'};

我们现在如何高效、快速地构建新结构C

C.values = [NaN 1.2 NaN 1.5 1.6 1.7 1.9; ...
            2.1 NaN 2.4 2.5 2.6 NaN NaN; ...
            NaN 3.2 NaN 3.5 3.6 3.7 3.9; ...
            4.1 NaN 4.4 4.5 4.6 NaN NaN; ...
            6.1 NaN 6.4 6.5 6.6 NaN NaN; ...
            NaN 7.2 NaN 7.5 7.6 7.7 7.9; ...
            NaN 8.2 NaN 8.5 8.6 8.7 8.9];
C.dates  = [730001; ...
            730002; ...
            730003; ...
            730004; ...
            730006; ...
            730007; ...
            730008];
C.id     = {'x1', 'x2', 'x4', 'x5', 'x6', 'x7', 'x9'};

更新时间表

在 cmets 之后,我尝试使用 timetable 实现此目的,如下所示:

function dfmerged = in_mergeCache(dfA, dfB)

dtA = datenum2datetime(dfA.dates); % function datenum2datetime can be found here: https://stackoverflow.com/a/46685634/4262057
dtB = datenum2datetime(dfB.dates);

TTa = array2timetable(dfA.values, 'RowTimes', dtA, 'VariableNames', dfA.id);
TTb = array2timetable(dfB.values, 'RowTimes', dtB, 'VariableNames', dfB.id);

TTs = synchronize(TTa,TTb);

dfmerged.id     = TTs.Properties.VariableNames;
dfmerged.values = table2array(TTs);
dfmerged.dates  = datenum(TTs.Time); %to convert datenum

end 

问题:但是,这给了我一个很大的时间表,其中行确实同步,但列只是重复(9 列)。我怎样才能同步列?

C = 

  struct with fields:

        id: {'x1'  'x4'  'x5_TTa'  'x6_TTa'  'x2'  'x9'  'x5_TTb'  'x6_TTb'  'x7'}
    values: [7×9 double]
     dates: [7×1 double]

【问题讨论】:

  • 您使用的是哪个版本的 MATLAB?从 2016b 开始,您可以将 timetable 对象和 synchronize 用于此类事情
  • 啊找到了 :) 这样的例子在上面会如何发挥作用?我必须改变时间表中的一切吗?这不是要花很多时间吗?
  • 您可以首先将数据存储在表中,您不需要更改代码,因为表变量可以像结构一样使用点表示法访问,但事情可能是容易一点;假设你基本上有一个标题和行数据的表结构
  • 是的,我现在试过了(见更新)。但是,不断收到我的列未被考虑在内的问题。

标签: matlab matrix vector synchronization


【解决方案1】:

这是使用unique 和索引的解决方案:

%combine the data and take unique value of them + their index
[C.id,~,date_i] = unique([A.dates(:);B.dates(:)]);
[C.dates,~,id_i] = unique([A.id B.id]);

C.values = nan(numel(C.dates),numel(C.id));
%use matrix indexing to fill the sub-materices corresponding to elements of A and B
C.values(date_i(1:numel(A.dates)),id_i(1:numel(A.id)))=A.values;
C.values(date_i(numel(A.dates)+1:end),id_i(numel(A.id)+1:end))=B.values;

【讨论】:

  • AB 行不通,因为它们可能有不同的行数。 A 和 B 的行数和列数不同。
  • 值的范围是否从1.19.9
  • 不,它们总是在变化。请参见示例 A 与 B。行数事先不知道。列数也可能不同。所以我们需要水平和垂直同步。
  • 在您的示例中,您采用 A 和 B 的唯一值。但它们可能并不总是唯一的。您应该通过唯一的日期和 ID 连接它们,而不是通过 A 或 B 的唯一值。在我的示例中,是的值是唯一的。但是假设我们在日期 730008 上也有 x2 的 2.1(将 8.2 替换为 B 中的 2.1)。
  • 请编辑您的问题并通过Minimal, Complete and Verifiable Example准确解释您想要什么。
猜你喜欢
  • 2013-05-30
  • 2010-09-23
  • 1970-01-01
  • 2013-09-09
  • 2014-07-22
  • 1970-01-01
  • 2020-09-08
  • 1970-01-01
  • 2010-10-13
相关资源
最近更新 更多