如何从 SCADA CIMPLICITY 软件的 DAT 和 IDX 文件中提取数据？答案

【问题标题】：How can I extract data from DAT and IDX files of SCADA CIMPLICITY software?如何从 SCADA CIMPLICITY 软件的 DAT 和 IDX 文件中提取数据？
【发布时间】：2013-04-26 23:37:01
【问题描述】：

我的任务是从旧软件的数据文件中提取数据 - CIMplicity HMI Plant Edition 6.0 版。它是 2002 年的 SCADA 软件。我有一份数据文件目录的副本，其中包含很多 *.DAT 和 *.IDX 文件。我需要将此数据提取到 CSV 或 SQL 数据库。一些 DAT 文件只是纯文本，但其他文件具有类似二进制的格式，当在 PSPad 中打开时，会以 HEX 视图模式显示。

我可以使用哪些工具来可靠地读取和提取这些文件中的数据？

TIA。

更新：我添加了包含数据文件的目录的目录列表：

 Directory of C:\tmp\xxxxxxII\data

04/30/2013  01:53 PM    <DIR>          .
04/30/2013  01:53 PM    <DIR>          ..
09/02/2008  10:46 AM            17,260 1220323606.clz
09/02/2008  10:46 AM            60,490 1220323607.clz
09/10/2008  06:36 PM           288,554 1220323608.clz
09/02/2008  10:46 AM            66,977 1220323609.clz
09/10/2008  06:37 PM            23,900 1220323610.clz
09/10/2008  06:37 PM            19,162 1220323611.clz
09/10/2008  06:48 PM            37,596 1220323612.clz
09/10/2008  06:49 PM            27,882 1220323613.clz
09/10/2008  06:49 PM            47,850 1220323614.clz
09/10/2008  06:50 PM            47,816 1220323615.clz
09/10/2008  06:52 PM         3,427,511 1220323616.clz
09/02/2008  10:46 AM            31,169 1220323617.clz
09/10/2008  06:53 PM            30,353 1220323618.clz
09/02/2008  10:46 AM           122,159 1220323619.clz
09/02/2008  10:50 AM         3,539,414 1220323828.clz
09/10/2008  06:02 PM               208 action.dat
09/10/2008  06:02 PM             3,072 action.idx
02/19/2002  11:58 PM             5,636 alarm_class.dat
02/19/2002  11:58 PM             3,072 alarm_class.idx
09/23/2008  04:26 PM           137,128 alarm_def.dat
09/23/2008  04:26 PM            49,152 alarm_def.idx
02/19/2002  11:58 PM             2,929 alarm_field.dat
02/19/2002  11:58 PM             4,096 alarm_field.idx
02/19/2002  11:58 PM                 0 alarm_intproc.dat
02/19/2002  11:58 PM             4,096 alarm_intproc.idx
02/19/2002  11:58 PM               135 alarm_mgr.dat
02/19/2002  11:58 PM             3,072 alarm_mgr.idx
09/23/2008  04:26 PM            69,531 alarm_routing.dat
09/23/2008  04:26 PM           387,072 alarm_routing.idx
02/19/2002  11:58 PM               912 alarm_type.dat
02/19/2002  11:58 PM             3,072 alarm_type.idx
02/19/2002  11:58 PM                 0 alm_setup.dat
02/19/2002  11:58 PM             4,096 alm_setup.idx
02/19/2002  11:58 PM                 0 alm_setup_cl.dat
02/19/2002  11:58 PM             3,072 alm_setup_cl.idx
02/19/2002  11:58 PM                 0 alm_setup_fr.dat
02/19/2002  11:58 PM             3,072 alm_setup_fr.idx
02/19/2002  11:58 PM                 0 alm_user.dat
02/19/2002  11:58 PM             3,072 alm_user.idx
02/19/2002  11:58 PM                 0 alrm_blk_alarm.dat
02/19/2002  11:58 PM             4,096 alrm_blk_alarm.idx
02/19/2002  11:58 PM                 0 alrm_blk_group.dat
02/19/2002  11:58 PM             3,072 alrm_blk_group.idx
02/11/1998  04:05 PM               602 amlp.cfg
09/10/2008  06:53 PM             2,415 class.dat
09/10/2008  06:53 PM             3,072 class.idx
02/11/1998  04:06 PM                 5 client.cfg
09/10/2008  02:14 PM               393 comm_exe.dat
09/10/2008  02:14 PM             4,096 comm_exe.idx
09/23/2008  03:40 PM             9,893 datalog.dat
09/23/2008  03:40 PM             5,120 datalog.idx
02/19/2002  11:58 PM             1,272 data_field.dat
02/19/2002  11:58 PM             3,072 data_field.idx
09/04/2008  03:10 PM             1,218 dbms_def.dat
09/04/2008  03:10 PM             3,072 dbms_def.idx
09/16/2008  10:45 AM            37,820 derived_point.dat
09/16/2008  10:45 AM            16,384 derived_point.idx
09/10/2008  02:14 PM               256 devcom_proc.dat
09/10/2008  02:14 PM             4,096 devcom_proc.idx
09/10/2008  02:16 PM             1,305 device.dat
09/10/2008  02:16 PM             5,120 device.idx
09/23/2008  04:26 PM         2,243,024 device_point.dat
09/23/2008  04:26 PM         1,745,920 device_point.idx
09/23/2008  04:04 PM                 6 dyn_cfg.cfg
02/19/2002  11:58 PM                 0 em_alu.dat
02/19/2002  11:58 PM             3,072 em_alu.idx
02/19/2002  11:58 PM                 0 es_eu_conv.dat
02/19/2002  11:58 PM             3,072 es_eu_conv.idx
02/19/2002  11:58 PM                 0 es_point_info.dat
02/19/2002  11:58 PM             4,096 es_point_info.idx
09/23/2008  04:26 PM           719,712 eu_conv.dat
09/23/2008  04:26 PM            78,848 eu_conv.idx
09/10/2008  06:02 PM               166 event.dat
09/10/2008  06:02 PM             3,072 event.idx
09/10/2008  06:03 PM               121 event_action.dat
09/10/2008  06:03 PM             3,072 event_action.idx
04/30/2013  01:53 PM                 0 f.txt
02/19/2002  09:49 PM           199,302 field_def.dat
02/19/2002  09:49 PM            87,040 field_def.idx
09/10/2008  02:15 PM             1,608 fr.dat
09/10/2008  02:15 PM             5,120 fr.idx
07/15/2010  03:41 PM               262 gef_cfg.ini
09/23/2008  03:39 PM             6,435 glb_parms.dat
09/23/2008  03:39 PM             6,144 glb_parms.idx
12/15/1999  11:16 AM               899 ie_deflds.cfg
11/14/2001  11:06 AM             1,101 ie_formats.cfg
02/19/2002  09:49 PM             7,548 keyconst.dat
02/19/2002  09:49 PM            18,432 keyconst.idx
02/19/2002  09:49 PM            16,984 key_field.dat
02/19/2002  09:49 PM            13,312 key_field.idx
02/19/2002  09:49 PM             9,546 lenconst.dat
02/19/2002  09:49 PM            17,408 lenconst.idx
09/10/2008  02:14 PM               990 logproc.dat
09/10/2008  02:14 PM             3,072 logproc.idx
09/23/2008  03:54 PM            47,952 log_attrib.dat
09/23/2008  03:54 PM            77,824 log_attrib.idx
09/23/2008  03:40 PM             1,848 log_event.dat
09/23/2008  03:40 PM             4,096 log_event.idx
08/05/1998  09:04 AM             1,671 log_names.cfg
09/10/2008  02:14 PM               121 master.mcp
07/18/2008  06:32 PM                32 master_mcp.app
09/10/2008  02:14 PM                29 master_mcp.dc
07/18/2008  06:32 PM                52 master_mcp.rp
09/28/2001  02:22 PM            17,449 master_opc_0.ini
02/19/2002  11:58 PM            11,312 meas_assoc.dat
02/19/2002  11:58 PM             8,192 meas_assoc.idx
02/19/2002  11:58 PM               276 meas_system.dat
02/19/2002  11:58 PM             3,072 meas_system.idx
02/19/2002  11:58 PM             1,096 meas_unit.dat
02/19/2002  11:58 PM             3,072 meas_unit.idx
09/10/2008  02:14 PM               365 model.dat
09/10/2008  02:14 PM             4,096 model.idx
07/18/2008  06:32 PM                86 node.dat
07/18/2008  06:32 PM             3,072 node.idx
09/10/2008  02:14 PM             2,167 node_logproc.dat
09/10/2008  02:14 PM             5,120 node_logproc.idx
09/23/2008  04:26 PM            32,890 object.dat
09/23/2008  04:26 PM            28,672 object.idx
09/23/2008  04:26 PM           310,464 object_attrib.dat
09/23/2008  04:26 PM           293,888 object_attrib.idx
09/23/2008  04:26 PM            22,080 object_routing.dat
09/23/2008  04:26 PM            30,720 object_routing.idx
09/10/2008  02:14 PM               715 physproc.dat
09/10/2008  02:14 PM             5,120 physproc.idx
04/26/2010  12:27 PM         2,527,608 point.dat
04/26/2010  12:27 PM           637,952 point.idx
02/19/2002  11:58 PM                95 point_alstr.dat
02/19/2002  11:58 PM             3,072 point_alstr.idx
02/19/2002  11:58 PM                 0 point_disp.dat
02/19/2002  11:58 PM             3,072 point_disp.idx
02/19/2002  11:58 PM               194 point_enum.dat
02/19/2002  11:58 PM             3,072 point_enum.idx
02/19/2002  11:58 PM               216 point_enum_fld.dat
02/19/2002  11:58 PM             4,096 point_enum_fld.idx
02/19/2002  11:58 PM               609 point_type.dat
02/19/2002  11:58 PM             3,072 point_type.idx
09/10/2008  02:14 PM               129 port_comm.dat
09/10/2008  02:14 PM             4,096 port_comm.idx
09/10/2008  02:14 PM                42 port_list.dat
09/10/2008  02:14 PM             4,096 port_list.idx
09/10/2008  02:14 PM               294 port_type.dat
09/10/2008  02:14 PM             3,072 port_type.idx
02/11/1998  04:05 PM                 5 projects.cfg
09/10/2008  02:14 PM               123 protocol.dat
09/10/2008  02:14 PM             3,072 protocol.idx
02/19/2002  11:58 PM                37 ptmgmt.dat
02/19/2002  11:58 PM             3,072 ptmgmt.idx
04/27/2010  03:25 PM            19,343 ptx_points.cfg
02/19/2002  11:58 PM                 0 pt_uf_assoc.dat
02/19/2002  11:58 PM             4,096 pt_uf_assoc.idx
02/19/2002  11:58 PM                93 pt_uf_sets.dat
02/19/2002  11:58 PM             3,072 pt_uf_sets.idx
02/19/2002  11:58 PM             1,568 pt_user_fields.dat
02/19/2002  11:58 PM             4,096 pt_user_fields.idx
02/19/2002  09:49 PM             9,856 record_def.dat
02/19/2002  09:49 PM            13,312 record_def.idx
02/19/2002  11:58 PM                 0 redund_addrs.dat
02/19/2002  11:58 PM             4,096 redund_addrs.idx
02/19/2002  11:58 PM               111 role.dat
02/19/2002  11:58 PM             3,072 role.idx
02/19/2002  11:58 PM               159 role_subsys.dat
02/19/2002  11:58 PM             4,096 role_subsys.idx
09/10/2008  02:14 PM             1,067 service.dat
09/10/2008  02:14 PM             5,120 service.idx
02/19/2002  11:58 PM               181 service_use.dat
02/19/2002  11:58 PM             3,072 service_use.idx
09/23/2008  03:57 PM               711 TCPIP0.ini
02/19/2002  11:58 PM                 0 trend_pt.dat
02/19/2002  11:58 PM             3,072 trend_pt.idx
09/02/2008  09:29 AM               434 user.dat
09/02/2008  09:29 AM             4,096 user.idx
09/10/2008  02:15 PM               784 user_fr.dat
09/10/2008  02:15 PM             6,144 user_fr.idx
07/15/2010  03:40 PM                15 warmdata.sav
             174 File(s)     17,990,662 bytes

更新：附上point.dat的截图：

【问题讨论】：

没有看到文件样本，我不确定您期待什么样的帮助？
文件本身的样本怎么样？目录列表没有帮助。通常idx 用于.dat（数据）文件的“索引”。鉴于您目前提供的信息，我能帮助您的就这些了。
您想编写工具、购买工具还是寻找工具？
@Beta：理想情况下，我需要使用可用工具提取数据。如果没有可用的工具，那么我需要知道如何使用 Delphi 或任何其他方式提取数据。
由软件编写的遗留数据文件现已绝迹，采用可能是专有的二进制格式。这开始看起来像是密码分析的练习。我会四处寻找更现代的 Cimplicity 版本，使用 BeyondCompare 解析其文件，对格式进行逆向工程，然后扫描旧文件，假设旧格式相似并且可能更简单一些。

标签： parsing data-extraction scada

【解决方案1】：

我的哀悼，你的任务是一项几乎不可能完成的任务。

好吧，我对 CIMPLICITY HMI Plant Edition 了解不多，除了我从外面能看到的。但也许我可以给你一些有用的指导，因为我也在开发工业 HMI 和工程软件。 (WinCC & PCS7)

首先，这种格式有 99% 的把握是专有格式。您可以期望得到的唯一真正帮助是来自 GE。问题是，他们会把它给你吗？（由于您正在尝试提取数据，您可能正在迁移；那么他们为什么要提供帮助。）

因此，可能需要进行一些逆向工程。您需要创建项目的软件。那是工程包，而不是 HMI 运行时软件。（可能是一个软件。）您的公司应该仍然拥有原始项目的许可证。

您可以从那里创建一个新项目并查看会发生什么，或者加载现有项目，然后尝试查看数据发生了哪些变化。了解系统中有哪些数据以及在哪里可以找到这些数据非常重要。

需要注意的是，数据有两种形式，项目配置和运行时数据。

项目配置实际上不是数据，这只是运行时系统应该显示/反应的“只是”配置。项目数据是诸如用户、视图/屏幕、PLC 变量绑定或控制脚本之类的东西。老实说，我不知道您想如何将大部分内容有效地放入 CVS 或数据库中。但是 WinCC 有可能使用 MSSQL。（使用默认密码，谢谢 stuxnet）

运行时数据更简单。这是记录操作员命令、警报和警告或记录值等内容的事件日志。这些数据应该很容易提取，因为它是严格格式化的。要了解记录的内容和位置，您应该在工程软件中打开项目，在那里您应该找到有关日志记录和趋势的线索。

尽管如此，您还是想让自己成为一个优秀的十六进制编辑器和很多时间。

附录：

添加清单和屏幕截图后，这些文件对我来说是 3/4 的意义。

例如，alarm_class.* 包含运行时可能引发的警报类别，alarm_type 包含警报的数据类型，alarm_field 包含为现场警报配置的警报，即来自 PLC，alarm_rounting 是路由或网络错误, alm_user 可能是用户警报，即来自 HMI 运行时中的脚本。

名字中带点的东西大概就是一个“测量点”，即现场设备；传感器或执行器的反馈。

用户的一切，可能是配置的用户和他们的权限。

redund_addrs 是 PLC 或设备地址的映射，它们是主值的冗余兄弟。

所有带有端口的东西都可能与 SCADA 服务器或 PLC 上的“端口”有关，例如 FF、PROFIBUS 或 PROFINET。

任何带有对象的东西都可能是结构。那就是当单个变量（又名标签）被绑定在一起形成分层值时。例如，一个传感器的值和所有关于它的状态的值都绑定到一个结构中，这可能会被视为一个测量点。

此外，在查看您提供的十六进制转储时，它看起来像是结构化的恒定长度格式。

在这种情况下：

struct Point
{
    char name[16] = "$ALARM.ACKED";
    char type[32] = "UDINT";
    char comment[128] = "...";
};

然后用空格“0x20”填充这些值。

附录2：

您实际上可以查看平面文件数据库，例如 dBase，每个 *.dat 是数据，*.idx 是表索引。只是一个想法。在大约 2000 年可用的数据库技术上投入一些时间可能是值得的。然后也许您可以“转储”数据。

【讨论】：

感谢您的长篇回复。它不是 Dbase 格式，我尝试用几个 DBF 查看器打开文件，但它们出错了。许多文件是纯文本格式，文本根据列位置分隔。
可能是codebase。有 *.dat 和 *.idx 文件；刚刚在一个项目中看到它。但没有任何保证。

【解决方案2】：

::出口:: 如果您在主目录中打开命令提示符为 event.idx 文件键入“idtpop 事件” 它将创建一个文件 event.idt
此文件可以在记事本或其他编辑器中编辑。

Cimplicity 的任何 .DAT 和 .IDX 文件都可以以相同的方式访问。

::导入：如果要导入所需的更改，请在命令提示符处键入 scpop 事件
这将重新生成事件文件。也做其他文件。

【讨论】：

【解决方案3】：

Nova Gladson 是正确的，但这仅适用于安装了 Cimpicity 的系统。

Cimplicity 仍在积极开发和营销中。最新版本非常能打开第6版。

Cimplicity HMI & Scada

【讨论】：