1、TPC-H
商业智能计算测试TPC-H 是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集.目前,在学术界和工业界普遍采用它来评价决策支持技术方面应用的性能. 这种商业测试可以全方位评测系统的整体商业计算综合能力,对厂商的要求更高,同时也具有普遍的商业实用意义,目前在银行信贷分析和信用卡分析、电信运营分析、税收分析、烟草行业决策分析中都有广泛的应用。
TPC-H 基准测试是由 TPC-D(由 TPC 组织于 1994 年指定的标准,用于决策支持系统方面的测试基准)发展而来的.TPC-H 用 3NF 实现了一个数据仓库,共包含 8 个基本关系,其数据量可以设定从 1G~3T 不等。TPC-H 基准测试包括 22 个查询(Q1~Q22),其主要评价指标是各个查询的响应时间,即从提交查询到结果返回所需时间.TPC-H 基准测试的度量单位是每小时执行的查询数( [email protected]),其中 H 表示每小时系统执行复杂查询的平均次数,size 表示数据库规模的大小,它能够反映出系统在处理查询时的能力.TPC-H 是根据真实的生产运行环境来建模的,这使得它可以评估一些其他测试所不能评估的关键性能参数.总而言之,TPC 组织颁布的TPC-H 标准满足了数据仓库领域的测试需求,并且促使各个厂商以及研究机构将该项技术推向极限。
- TPC-DS
TPC-DS采用星型、雪花型等多维数据模式。它包含7张事实表,17张纬度表平均每张表含有18列。其工作负载包含99个SQL查询,覆盖SQL99和2003的核心部分以及OLAP。这个测试集包含对大数据集的统计、报表生成、联机查询、数据挖掘等复杂应用,测试用的数据和值是有倾斜的,与真实数据一致。可以说TPC-DS是与真实场景非常接近的一个测试集,也是难度较大的一个测试集。
TPC-DS的这个特点跟大数据的分析挖掘应用非常类似。Hadoop等大数据分析技术也是对海量数据进行大规模的数据分析和深度挖掘,也包含交互式联机查询和统计报表类应用,同时大数据的数据质量也较低,数据分布是真实而不均匀的。因此TPC-DS成为客观衡量多个不同Hadoop版本以及SQL on Hadoop技术的最佳测试集。这个基准测试有以下几个主要特点:
一共99个测试案例,遵循SQL’99和SQL 2003的语法标准,SQL案例比较复杂
分析的数据量大,并且测试案例是在回答真实的商业问题
测试案例中包含各种业务模型(如分析报告型,迭代式的联机分析型,数据挖掘型等)
几乎所有的测试案例都有很高的IO负载和CPU计算需求
U2FsdGVkX19oyiUe6+k3/PdYsOhpm0X+/m+pDrBPzV1RBjDZAlRMY5MHkXtR7Y3s
iWR2EDhjnJk9lAMPEy8C7P1XgBPEtACcE0q4yttB30EN2104miB3L32kBGngccX7
lzq4YlqnR7KsEnsp6zBbXH1IIwVz4lZqnm2ASIDwX6M19DLqpFnmZKSLY75o8uhI
G3JkujsI9el3X2j1nw4ABVq89tJ/stcMC77BFITSWkEK06g8lmoSRupfcdgt/N/k
egQM79WYxfKQh590xPiFNvpFuUY9UzCBNgiCbZ/5/21SmAateQ8qZsY/vbV8njCv
MKYhuOH2Bm5edgXX6fe9SVr8uCR2PZ/Z5kMYNq3zR4YXSV2YzKr9ONqPK7Wr9tgz
LnCybxC6wVkPrrMz1MQG67n0JFMR2zHkZDpPr1wrvQaFMScaTOxUfoZYe23Via4q
UiVQ54vSRTShYk9rRp/uJJ2MHiUi9r/n8jV+qoLhyUTdYB/eQ3zI2l8BV/yJ5Okf
BtuKOKOmtM0uBAAEIkw2AZFiOlQMaat07BerSnsyvcIzLd90ZT4ykv7E87j1tvrl
6ozl76I54t1wZUJwlOAwqkCdyRTDZrhMkEugmotB8M/4SyIGN8nda1YKRmjWofaP
J8dvVg8vdoScQNSa5W+5E1gcJEDrOUTJHao6ZzrCOXTezeFgV3qkwqYhZvwUIUrZ
yeP6bgsz5nutDrnP1wcec/Htnjy1IAs9EUAxSvePwTTSMtLavpMKuuhMRYdO9Zfk
kFXqjsfuxCscPvZkbjKaPFV17b2whr7s9rtFdHP7ouZJOSUL06XzeoolwWW+1JyO
1wvtOW9oRiGM0yMdDYiNHU7998BrTbakzqUnDzDXdGAKk1A19nGlSy7fBTXLjGu9
TzunMqO/+M/5cUc7W9RH1B+dGOHoYW/PBZLuxxs9rJ4JKof9qxET3nmZhhyazI4O
XXM1eZLT9DvCKPrbrRSwU1dl2futRiFmK2axCpTZn3lmL27aD1Y2Q+BARHTNqwvG
Cxs4IngNDi7XLcIvDvTpJskLlp6AENYF8KhYWDZss8vPpg0+iOiZnSYIM7vw01yb
/R8O8oYCtN9ZYgG2MSmERy3zj0pqn3dAKrYrweXCHJ9wUzUKZUiFxBDUkpMv2Uhb
tndZsPNKG+HANIkSHglZbonFIP7DL8P2UE8nJ3hggABuYvjS+IptMz1rKTJ4mwMJ
D9i0rugf+ZT0+e+YLWKgSdtomQawLYD6rUtzCJKVyqyENxq5DZrhkGrV1IMqGPuL
OV06rZdlz8w/pqfVxavJR/sgwb/q4UYyxHkm9gMpoDSUjv3tAv2J+nJVaAQ+nEj6
g/fmDxA9YQgw9NPlG2n0w1PoDCNm4dx7pHG8cK9Fs8e5NVY293RXeRt6gffrQZxR
LcYKF9h+SIofR4+C62grvBj7Rv4QoJmlRQ7akQfZm/BRrfd4Kj7zsYwFn/hI8sSk
5pTG/naRQk2uA3x7+UNflczQ6KE/LF/nxObdT/cct30zIovoNtEsHIeVTGDumPyi
dn/xzHbSqbMCSE629TyUnObQvmImqFHEe1BQTLb3Uy5++QGdm/x56cLCWTYua+LP
GuMUsJp4NzimcsytBVtefSYudPjjDwpW1aa5w/hTHu3ecWj2N8fuEWVIc/UWnM6P
4l7pq2NGgvKvLFCV4353QUbnuiNw7HM40+ObM4iySAwS7qlMTClxl+olG18B+O3H
Z1k91oBG9dY3UYB91lxp+dhS06IvWkG6KYQ5wVmIpipcS69OQ3LxSVNJ2TXAjHib
7h1kzortSXEeXgDvDjKjoJ154BZbQr68cT67UCjfJF74XyLxCy3GEHmrCML54/5l
QMKqGG82yBBiPy4Y2kckcj3j7X/v1HXTXMi8VE5+AQab9aziQtvV0Oy5iw4S74kD
KEkPfEOnw+VvVOFKBhjfo1kBSJ8XFFFYzo1OJ4TiRVYl4dnqmRqKQgYQX0s0mMwN
Az+vnIxpBl2dlhQdfr0k66x/PAAgnihuN9tT4aM0UDc7HTefofu/3Y1cnrlyVNp9
q+bnCetek+jH/TK9nC4SjCKExxyR+ncWf2HgbQslneSl+oHuCKZp3ZH/PaYb6mIS
+RIdHSlgndJdsy9r+HmpgKoBwml5tX6rsyfKJQpCQM7pqx47NadGj/R7rNsojdaG
cLAsQC9Bxec6q2GwQj5EWHPXoydY2+QNcqPvcv3jsWDug9zXIXDWISQqFROFpgaa
mhw7tac3ZBIWkvA0E0pLbgynkOp4ftTAppWHmTilnbMIGVX8jjY233GsTU4O96ov
NKM+fSheV2hUrh8QCnhkrSErr20h5JonKZ2HcAEFOqs8O5KINi4XXanKeJ+7WS5k
OSEQZOHqg5R7Q6Eem/NmI5fwYQiUbFUpf9mxshR2kOpfklx6Lzb/mP4wC0oxPyNt
75RdnPVvJ7E1aCNWsYFbLP6fl179wgW/HFx38Mo4t//s3GMHpAy6vX/MZEySJEV9
F5NmS0SjuFW8WCor/+TUCZ23o/kFPYR8/LYDdT2FdfLGmIgghbnaH/QbhmXc0i3T
n77VGUR6xBTaWKYb02nRC7INmWoE0FAapaMUidc0++J8lo7E1KAwcRazyOnHUsCR
1lJ7mt5fR3hwJdWuFEuUwY6XqrvuVg9jbEhM64hlNAHsEKVqmgbXumrzMmc11SIV
xFjDYjMNz2BxeHWbRukU944+CCh5DoX/AL4fQuVi35x5qsCn3xxiqs8j8hgGxfye
LTpVdqMonm9PkNLk51ukahJ8ClLQ6jypTCVJkEr5W4x3xcESzdHnSgmGjJM51hKE
eR8qLcJhgs9TFYoCIXuzYLcbJESXAY9dTYO5IP8hG90bHMBz18EZPjykSBkN5DvL
+4+8nGdCKCwlLGji3a5GVZm4t9SeQrP98K5tW4nQowikNIEW6rT3lPN6A8lE+HPJ
HzI7JbSINLK3TnB0ILVvVNMTlyja5QJn5tgCDfjnec1+CTPS+83QYPSia/rsEfTz
RDJQcz/SkqGy/d8ymmwZZFHcIKoz2pyeHGj8netU6Ol3U1hTjM4S1WA2k9hlYMy3
yFgRvjAJZr94nhT9iYUz1V3cblhXZNKMkZdC6Jhujra9D8rowKjVD+6w9cmrviA2
TCvrpqhGy0uCfj+WFzMBy1Gp0s8wBc9GfWbIlGFqDTjmPpXmm2LHELp3cc/vEqsA
nYzgfVhFlgHIqwh2tD3lOUP05Yv7j5jhlUbN2CHaZEkcVNCkaB2a6ldArxOVc86n
92Xrk00VWNrr5Zi1tvv0IlfkBWiJ7dwRNoHfAsd6VfGaHs7DN3SuUiGjT9ie1ZF4
N48NLWNTY4Ve15hCqL3DnADNTG0IDb3YzqHVzyCKDn1nsEZobz56ZQr536cXOB65
vSJqmw2orNFTu1we7f33qsgUlVJcsDDFw20FGcNmilI1GHb+kZGT+XfLhaf64vx8
myDeFg6A2gYbRD38QPLySLL9O5ONh96MTL0C1dObrWL1u20CKVMOpmKqgjL/6GLv
H3uheS4/HY2p/NNMtLBhCreX/1ssfLQ2DdRUv3DOqSm1N0ZgsYUUUuVJZrfIQewM
xiaxzvv7h9GRDWPVb3jI2kQ8fyffVRPMhRxVojD+DgYdWHtsX8+xp/xufXYux3d+
UffhsUhp2e84+w4H4SpyvUMvGyJLy4A8noKGR1AoZv5q/fbWVQIkWpIKR5UPbNJI
KnYWBKGww01cPHIacyRH/LWPFyADrFjKKYBBW43AeJ10pjA4ZzdNtESLbpRUkWMi
w0ZRqCOx1QQQpTIEgvKTFjcKGbgiIW/JZ+x/RLC8xkM3L6j9KzSOEW6MfSnkGjrg
HAS1M5an94Rh1A55jeTcoCGTCLVDb2qMy/+uYe3nbCMuUtZeoItz/byG4xFOj0rP
9JsAIYFFpQFn3n6PEMKh/GAKq9tXoM5qHpdNyJIV/TKjwRISLq49teCJ3iY2lN1/