【问题标题】:"gRPC message exceeds" Error when inserting large data插入大数据时出现“gRPC 消息超出”错误
【发布时间】:2021-10-03 22:07:51
【问题描述】:

我有一个大小为 4.4MB 的 data.tql,在将其插入我的 graphdb 时出现问题。

第一个错误: data.tql 大小为 4.4MB -“[CLI04] 客户端错误:无法连接到 TypeDB 服务器。”

第二个错误(我只是用这个来测试,我还是要使用第一个(data.tql 4.4MB)) data.tql 大小为 2.3MB(我将原始文件大小减半) - “gRPC 消息超出最大大小 4194304: 4834138”

我想就如何解决此问题寻求帮助。

======================

我的另一个选择是按类别细分数据。

攻击模式.tql

========

$attack-pattern-1 isa sdo_attack_pattern,具有 stix_type “attack-pattern”,具有 stix_id “attack-pattern–b18eae87-b469-4e14-b454-b171b416bc18”,具有 created_by_ref “identity–c78cb6e5-0c4b-4611-8297” -d1b8b55e40b5”,已创建“2020-03-14T18:18:32.443Z”,已修改“2020-03-26T22:02:25.221Z”,名称为“非标准端口”,描述为“我的描述”,有 kill_chain_phases “[{'kill_chain_name': 'mitre-attack', 'phase_name': 'command-and-control'}]”,有 external_references “外部引用”,有 object_marking_refs “['marking-definition–fa42a846-8d90- 4e51-bc29-71d5b4802168']”,具有 x_mitre_data_sources “['网络流量:网络流量','网络流量:网络连接创建','网络流量:网络流量内容']”,具有 x_mitre_detection “某些检测”,具有x_mitre_is_subtechnique “False”,具有 x_mitre_platforms “['Linux', 'macOS', 'Windows']”,具有 x_mitre_version “1.0”;

=========

行动过程.tql

=========

$course-of-action-1 isa sdo_course_of_action,具有 stix_type “course-of-action”,具有 stix_id “course-of-action–6e7db820-9735-4545-bc64-039bc4ce354b”,具有 created_by_ref “identity–c78cb6e5” -0c4b-4611-8297-d1b8b55e40b5,创建了“2018-10-17T00:14:20.652Z”,修改了“2019-07-24T19:46:16.474Z”,名称为“LC_MAIN Hijacking Mitigation”,有描述“对所有应用程序的签名代码强制执行有效的数字签名,并且只信任具有受信任方签名的应用程序。”,具有 external_references “[{'source_name': 'mitre-attack', 'url': 'https://attack.mitre .org/mitigations/T1149', 'external_id': 'T1149'}]”, 有 object_marking_refs “['marking-definition–fa42a846-8d90-4e51-bc29-71d5b4802168']”, 有 x_mitre_deprecated “True”, 有 x_mitre_version “ 1.0”;

=========

relation.tql

=========

$rel-1 (course_of_action: $course-of-action-1, attack_pattern: $attack-pattern-1) isa 使用;

=========

结果:这是不可能的,因为 $course-of-action-1 和 $attack-pattern-1 正在寻找另一个文件中的值。

希望你能帮我解决这个问题。

谢谢!

【问题讨论】:

  • 为了解决这个问题并确定它是否是 grpc 的最大消息大小限制过早达到的问题与此处设置中的错误,我们实际发送的信息比我们想象的要多,什么如果您进一步减小文件大小,例如1MB ?

标签: graph-databases vaticle-typedb vaticle-typeql


【解决方案1】:

我认为 grpc 可以抛出这个错误,因为服务器抛出了太多错误,它们作为单个消息发送回客户端,然后说消息太长。我建议插入数据子集,以尝试捕获多次抛出的错误并进行相应的修复。

【讨论】:

    猜你喜欢
    • 2019-07-05
    • 2018-11-19
    • 1970-01-01
    • 2019-08-22
    • 2014-05-02
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2017-04-22
    相关资源
    最近更新 更多