数据预处理(data preprocessing)是指在主要的处理以前对数据进行的一些处理。如对大部分地球物理面积性观测数据在进行转换或增强处理之前,首先将不规则分布的测网经过插值转换为规则网的处理,以利于计算机的运算。另外,对于一些剖面测量数据,如地震资料预处理有垂直叠加、重排、加道头、编辑、重新取样、多路编辑等。
数据预处理是指在主要的处理以前对数据进行的一些处理。数据预处理的主要过程有数据抽取(Extraction)、数据转换(Transformation)和数据加载(Loading),也称为ETL,这个过程是负责将分布的、异构数据源中的数据抽取到临时中间层进行转换、集成等处理,最后加载列数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础.数据预处理就是指把数据从数据源依照一定的规则装入到数据仓库的过程,这个过程的实质就是符合特定规则的数据流动过程,从不同异构数据源流向统一的目标数据。数据仓库的构建中,数据预处理是关键的一环,它是整个数据仓序的生命线.一直贯穿于项目始终。如果将数据仓库比喻为高楼,那么数据预处理就是地基,建亿数据仓库的首要问题,要考虑从不同类型的源系统中提取数据以及要将数据存储在一个相当规模的目标数据库中,这个过程就是数据预处理过程.
基于XC7K325T处理器的数据预处理FMC载板,在数据预处理中器着关键的作用;板卡具有1个FMC(HPC)接口,1个X8 PCIe主机接口,板卡采用Xilinx的高性能Kintex-7系列FPGA作为实时处理器,实现FMC接口数据的采集、处理、以及PCI Express总线接口的转换。板载1组独立的64位DDR3 SDRAM大容量缓存。该板卡通过搭载不同的FMC子卡,可快速搭建起基于PXI Express仪器总线的验证平台,该板卡为标准3U PXI Express尺寸,适合于标准欧式PXIE机箱,可广泛应用于雷达与中频信号采集、视频图像采集等场景。此数据与处理板对技术要求也非常高;
技术指标
板载FPGA实时处理器:XC7K325T-2FFG900I;
主机接口指标:
1.符合PXIe标准,支持PCI Express 2.0规范;
2.支持PCIe gen2 [email protected]/lane;
3.PCIe双向DMA传输带宽:3.2GByte/s;
FMC接口指标:
1.标准FMC(HPC)接口,符合VITA57.1规范;
2.支持x8 [email protected]/lane高速串行总线;
3.支持80对LVDS信号;
4.支持IIC总线接口;
5.+3.3V/+12V/+VADJ供电,供电功率≥15W;
6.独立的VIO_B_M2C供电(可由子卡提供);
动态存储性能:
1.存储带宽:64位,DDR3 SDRAM,500MHz工作时钟;
2.存储容量:最大支持4GByte DDR3 SDRAM;
其它接口性能:
1.1个高精时钟单元,支持1路外时钟输入、2路同步时钟输出;
2.2路RS485接口,4路LVTTL输入、4路LVTTL输出;
3.板载1个FRAM存储器、1个BPI Flash;