【问题标题】:System Design data engineering system from ML modelsSystem Design 来自 ML 模型的数据工程系统
【发布时间】:2021-08-18 22:40:40
【问题描述】:

我最近在接受 FAANG 采访,并被要求创建一个数据工程框架来执行分析,其来源是一个服务于机器学习模型的系统。

模型执行欺诈检测。面试官一直含糊其辞,并要求不要太担心欺诈检测模型是如何生成的,而是要关注其中的数据工程部分。

在这种情况下,从此类机器学习模型提供大数据分析的理想系统会是什么样子?没有提供任何限制,面试官可以接受任何形式的数字假设。

我确实提供了 Airflow 的内部结构以及它是如何作为我的解决方案的一部分工作的。这种设计有更好的方法/更完整的答案吗?创建以 ML 模型为来源的架构的最佳方法是什么?

【问题讨论】:

    标签: architecture system


    【解决方案1】:

    正如所提出的,我不认为这个问题是“可以回答的”,但这里有一些想法可能对你未来的面试有所帮助。


    根据我的经验(无论是作为被采访者还是作为采访者),被采访者对这类问题提供的实际“答案”并不那么重要。像这样的问题对你的测试大致是“设计思维”以及你如何解决问题。

    如果不了解更多细节,就不可能提供能够实现用户目标的合理系统设计。恕我直言这就是这类问题的重点:看看你问了什么以及你如何处理它。

    当然,面试官说,“不要担心欺诈检测的实际工作原理”,这是完全有道理的。但首先要从提问开始。

    例如,我的第一个问题是这样的:

    “分析”是什么意思?分析部署的系统在延迟/稳定性方面的表现如何?或者了解模型的实际“性能”(例如正确/错误的欺诈检测)?

    根据面试官给出的答案,可能会出现大量不同的后续问题。一旦您提出了足够多的问题,或多或少地了解了目标,您可能会更清楚什么是“好的”系统设计。

    但是,正如我已经说过的,我认为您最终得到的系统设计不需要完美或绝对巧妙。 我真的相信,面试中你试图发现问题参数的部分才是更重要的部分。毕竟,这是工作中非常重要的一部分:)

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2011-01-07
      • 2017-11-15
      • 2020-08-15
      • 2022-08-06
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-11-06
      相关资源
      最近更新 更多