分析多个“avro”文件的最佳方法是什么？

Question

我有更多 .avro 文件要对包含的数据进行分析。如何对它们进行分组并分析各个字段的值？ 这是架构：

{ “类型”：“记录”， “名称”：“DNSEvoDataFlatAvro”， “命名空间”：“nl.utwente.dacs.DNSEvo.avro”， “字段”：[{ “名称”：“查询类型”， “类型”：“字符串” }, { “名称”：“查询名称”， “类型”：“字符串” }, { “名称”：“响应类型”， “类型”：[“空”，“字符串”] }, { “名称”：“响应名称”， “类型”：[“空”，“字符串”] }, { “名称”：“response_ttl”， “类型”：[“空”，“整数”] }, { “名称”：“时间戳”， “类型”：“长” }, { “名称”：“rtt”， “类型”：“双” }, { “名称”：“worker_id”， “类型”：“整数” }, { “名称”：“状态代码”， “类型”：“整数” }, { “名称”：“广告标志”， “类型”：“整数” }, { “名称”：“ip4_address”， “类型”：[“空”，“字符串”] }, { “名称”：“ip6_address”， “类型”：[“空”，“字符串”] }, { “名称”：“国家”， “类型”：[“空”，“字符串”] }, { “名称”：“作为”， “类型”：[“空”，“字符串”] }, { “名称”：“as_full”， “类型”：[“空”，“字符串”] }, { “名称”：“ip_prefix”， “类型”：[“空”，“字符串”] }, { “名称”：“cname_name”， “类型”：[“空”，“字符串”] }, { “名称”：“dname_name”， “类型”：[“空”，“字符串”] }, { “名称”：“mx_address”， “类型”：[“空”，“字符串”] }, { “名称”：“mx_preference”， “类型”：[“空”，“整数”] }, { “名称”：“mxset_hash_algorithm”， “类型”：[“空”，“字符串”] }, { “名称”：“mxset_hash”， “类型”：[“空”，“字符串”] }, { “名称”：“ns_address”， “类型”：[“空”，“字符串”] }, { “名称”：“nsset_hash_algorithm”， “类型”：[“空”，“字符串”] }, { “名称”：“nsset_hash”， “类型”：[“空”，“字符串”] }, { “名称”：“txt_text”， “类型”：[“空”，“字符串”] }, { “名称”：“txt_hash_algorithm”， “类型”：[“空”，“字符串”] }, { “名称”：“txt_hash”， “类型”：[“空”，“字符串”] }, { “名称”：“ds_key_tag”， “类型”：[“空”，“整数”] }, { “名称”：“ds_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“ds_digest_type”， “类型”：[“空”，“整数”] }, { “名称”：“ds_digest”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_flags”， “类型”：[“空”，“整数”] }, { “名称”：“dnskey_protocol”， “类型”：[“空”，“整数”] }, { “名称”：“dnskey_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“dnskey_pk_rsa_n”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_rsa_e”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_rsa_bitsize”， “类型”：[“空”，“整数”] }, { “名称”：“dnskey_pk_eccgost_x”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_eccgost_y”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_dsa_t”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_dsa_q”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_dsa_p”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_dsa_g”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_dsa_y”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_eddsa_a”， “类型”：[“空”，“字符串”] }, { “名称”：“dnskey_pk_wire”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec_next_domain_name”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec_owner_rrset_types”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec3_hash_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3_flags”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3_iterations”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3_salt”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec3_next_domain_name_hash”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec3_owner_rrset_types”， “类型”：[“空”，“字符串”] }, { “名称”：“nsec3param_hash_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3param_flags”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3param_iterations”， “类型”：[“空”，“整数”] }, { “名称”：“nsec3param_salt”， “类型”：[“空”，“字符串”] }, { “名称”：“spf_text”， “类型”：[“空”，“字符串”] }, { “名称”：“spf_hash_algorithm”， “类型”：[“空”，“字符串”] }, { “名称”：“spf_hash”， “类型”：[“空”，“字符串”] }, { “名称”：“soa_mname”， “类型”：[“空”，“字符串”] }, { “名称”：“soa_rname”， “类型”：[“空”，“字符串”] }, { “名称”：“soa_serial”， “类型”：[“空”，“长”] }, { “名称”：“soa_refresh”， “类型”：[“空”，“长”] }, { “名称”：“soa_retry”， “类型”：[“空”，“长”] }, { “名称”：“soa_expire”， “类型”：[“空”，“长”] }, { “名称”：“soa_minimum”， “类型”：[“空”，“长”] }, { “名称”：“rrsig_type_covered”， “类型”：[“空”，“字符串”] }, { “名称”：“rrsig_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“rrsig_labels”， “类型”：[“空”，“整数”] }, { “名称”：“rrsig_original_ttl”， “类型”：[“空”，“长”] }, { “名称”：“rrsig_signature_inception”， “类型”：[“空”，“长”] }, { “名称”：“rrsig_signature_expiration”， “类型”：[“空”，“长”] }, { “名称”：“rrsig_key_tag”， “类型”：[“空”，“整数”] }, { “名称”：“rrsig_signer_name”， “类型”：[“空”，“字符串”] }, { “名称”：“rrsig_signature”， “类型”：[“空”，“字符串”] }, { “名称”：“cds_key_tag”， “类型”：[“空”，“整数”] }, { “名称”：“cds_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“cds_digest_type”， “类型”：[“空”，“整数”] }, { “名称”：“cds_digest”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_flags”， “类型”：[“空”，“整数”] }, { “名称”：“cdnskey_protocol”， “类型”：[“空”，“整数”] }, { “名称”：“cdnskey_algorithm”， “类型”：[“空”，“整数”] }, { “名称”：“cdnskey_pk_rsa_n”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_rsa_e”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_rsa_bitsize”， “类型”：[“空”，“整数”] }, { “名称”：“cdnskey_pk_eccgost_x”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_eccgost_y”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_dsa_t”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_dsa_q”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_dsa_p”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_dsa_g”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_dsa_y”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_eddsa_a”， “类型”：[“空”，“字符串”] }, { “名称”：“cdnskey_pk_wire”， “类型”：[“空”，“字符串”] }, { “名称”：“caa_flags”， “类型”：[“空”，“整数”] }, { “名称”：“caa_tag”， “类型”：[“空”，“字符串”] }, { “名称”：“caa_value”， “类型”：[“空”，“字符串”] }, { “名称”：“tlsa_usage”， “类型”：[“空”，“整数”] }, { “名称”：“tlsa_selector”， “类型”：[“空”，“整数”] }, { “名称”：“tlsa_matchtype”， “类型”：[“空”，“整数”] }, { “名称”：“tlsa_certdata”， “类型”：[“空”，“字符串”] }, { “名称”：“ptr_name”， “类型”：[“空”，“字符串”] }] }

例如我想分析多个文件.avro的时间戳字段的时间序列。

Answer 1

由于我们正在处理相同的数据集，因此请在 Python 中使用 fastavro。您可以在 list 中加载数据并为此使用多个 Python packages。 我希望以上内容对您有所帮助，即使他们没有及时到来。