摘要： 作为 denexus 安全服务提供商，需要良好选型的数据平台实现巨量数据的分析和管理。denexus 根据自身需求选型了 databricks 的湖仓一体金马国际的解决方案，满足自身对数据类型、用户类型、可扩展性、版本管理和 mlops 上的需求。
正文：
denexus 致力于解决威胁全球关键基础设施的网络安全风险，并为承保这些设施的保险公司提供服务。
挑战：可靠的数据
关键基础设施并不仅限于机场、电力设施和能源供给等中心，还包括由复杂运营技术 (ot)构成的生态，以及 it 网络、工业控制系统（ics）、企业软件和人员等。
需要关注的是，关键基础设施正面对着愈发严重的网络安全风险。在过去五年中，能源、可再生能源、制造、运输、供应链生态系统等都已成为不断增长的勒索软件和恶意软件攻击的受害者。。解决网络安全风险挑战的代价高昂，因为其呈现出的巨量数据将会吞噬所投入的大量资金。
针对此，denexus 推出了支撑数据的采集、存储和使用的专有数据湖“denexus 知识中心”（denexus knowledge center），为 denexus 自研风险量化算法的开发和训练提供数据服务，进而形成了供 derisk 使用的产品。derisk 是 denexus 推出的一款安全、高效、灵活并高度可扩展的风险量化 saas 平台
图 1 denexus 知识中心”（denexus knowledge center）结构图
denexus 的需求
支持不同类型用户的数据访问需求：包括执行复杂数据转换的高级用户，以及仅是使用 sql 的基础用户。
强大的数据版本控制功能：确保特定文件和表的版本不会在高级建模中发生更改，能记录数据湖中所有的历史交易，可轻松访问和使用历史版本数据。
支持异构数据：为 derisk 的输入输出和各种格式的商业智能数据提供支撑，包括结构化的、半结构化的和非结构化数据。
高可扩展性：考虑业务的快速增长，设计上需满足 pb 级数据存储。参见在线视频“”。
委托架构：为优化内部人力资源配置，金马国际的解决方案应尽可能考虑采用 saas 或 paas。
机器学习模型运营化（mlops）：该数据湖的一个主要用例，是通过模型应用使用数据。数据平台的用户主要是企业中的数据科学家。为推进开发并加速上线部署，最佳实践需参考。
强安全性和合规性约束：数据存储需具备很好的灵活性和动态性。
denexus 在评估了市场上现有的金马国际的解决方案后，摈弃了基于的金马国际的解决方案。因为面对以 parquet 或 avro 格式提供的数据，以及 spark 或 presto/trino 等工具，是否依然需要去区分数据湖和数据仓库，这取决于具体的用例。对于 denexus 而言，是完全没有必要的。因为 denexus 的数据平台事实上是全新构建的，数据主要并非来自 sql server、postgresql、mysql 等，从一开始就不存在任何需要做迁移的数据源。
近数据仓库之父 bill inmon 最也阐述了类似的观点：
“一开始，我们会把所有的数据都扔到一个大坑中，称其为“数据湖”。但我们很快就会发现，仅仅将数据扔进坑里是毫无意义的操作。为使数据有用，即加以分析，数据需要相互关联，并为最终用户提供良好设计的数据分析基础设施。除非这两个条件得到满足，否则数据湖就会变成一片沼泽，并在一段时间后开始散发臭味。不符合分析标准的数据湖，就是浪费时间和金钱。”
-- bill inmon，“”
金马国际的解决方案：湖仓一体
数据仓库的主要优点在于 acid、版本管理和优化等，而数据湖的主要优点是存储代价低、支持异构数据格式等。denexus 的数据管理系统考虑结合二者的优点，因此需要的是。denexus 选择了 databricks 产品，一方面考虑其提供了仓湖一体的原生实现，其它方面考虑因素将在下面做展开介绍。
图 2 数据仓库、数据湖和仓湖一体的对比
机器学习算法并不能很好地适配数据仓库，因为 bi 查询通常仅抽取少量的数据，但 xgboost, pytorch, tensorflow 等实现的机器学习算法需在不使用 sql 的情况下处理大量数据集。此外，使用 jcbd/odbc 连接器时会做多次数据类型转换，导致数据读取效率很低，而且一般不能直接兼容数据仓库所使用的内部专有数据格式。另一种做法是将数据以开放数据格式导出为文件，但这增加了额外的 etl 步骤，增加了复杂性，也不合时宜。
尽管 snowflake 这类“云原生”数据仓库支持以数据湖格式（开放数据格式）读取外部表，也实现了湖仓一体方法，但是：
snowflake 数据的主要来源是自身的内部数据，存储成本更高。因此在一些情况下仍然需要 etl 流水线，增加了额外的维护流程，并导致更多的可能故障点。
对数据湖中的数据，snowflake 并未提供与其内部数据相同的管理功能，例如事务、索引等。
snowflake 的 sql 引擎的优化，主要针对其内部格式查询数据。
此外，正如前面提及的 presto/trino、aws athena 等数据湖查询工具，snowflake 的单一用途工具并不能解决数据整体上的问题。这些工具缺乏正常数据仓库所具有的 acid 交易、索引等基本数据管理特性。
图 3 denexus 数据平台结构图
databricks 如何满足需求
支持不同类型用户的数据访问：要使用 sql 访问数据，必须有人去处理原始数据，并做结构化处理。那么是否能用基本的 sql 语句完成数据转换？答案虽然是肯定的，但只能祝一切好运。
sql 有其强大之处，但并非适用于一切。sql 并非一种，因此非常难以实现递归和循环，难以使用变量。鉴于我们无法整体把握实现 derisk 产品路线图所需执行的数据转换，因此多样性是一个重要的考虑因素。databricks 产品支持执行 spark、python、scala、java 和 r 等语言，甚至支持 sql，适用于不同类型的用户。完美！
强大的数据版本控制：databricks 原生支持。，这就解决了 spark 的这一主要问题。此外，delta lake 支持在流水线出现错误时恢复系统，并易于对数据提供确保，例如确保开发模型中所使用的数据不变（参见 delta lake 文档：“”）。此外，。
spark 等 databricks 产品支持处理各种的类型数据，结构化的、半结构化的，以及非结构化的。
此外，spark 并不使用特定的数据格式。鉴于，我们可以手工开发连接器，或是使用 python、scala、r 和 java 等语言的原生软件库。毕竟，databricks 不仅托管了 spark 一款产品。
databricks paas 本质上是可扩展的，数据平台可使用所有的云资源。例如，使用 s3 可满足更大的存储需求，以及一些新环境中的一次性存储需求；databricks 可直接满足对更多处理能力的需求，极大节约了企业最具价值资源即软件工程人员的时间；一旦新的数据科学家加入团队，不再需要在本地配置个人计算机；用户可在任何时候细粒度控制在运行的机器数量，及各台机器所具备的功能，同时避免出现意外计费的情况！
此外，spark dbr（即 databricks 的商业版 spark）比常规 spark 的性能更快，但需要为额外付费。这是物有所值的。
图 4 spark 开源版与 dbr 版的性能对比（来自 youtube）
基于 databricks 托管 mlflow，实现 mlops 完整金马国际的解决方案。mlflow 提供了模型开发的环境，以及机器学习全生命周期的平台。。参见 github：
mlflow 支持数据科学家轻松追踪实验中使用的数据表版本，并在后期重现指定版本的数据。此外，mlflow 为数据科学家提供了协作环境，支持同事间相互共享模型和代码。。在 databricks 托管 mlflow 中注册的模型，可以轻松地用于 azure ml 和 aws sagemaker 中。
此外，使用 databricks 托管的 mlflow，数据科学家可基于 spark ml 和 koalas（即 spark 中实现的 pandas）轻松实现算法并行化。
数据存储层和处理层的完全解耦。databricks 实现了计算和存储的分离，可处理在任何位置、以任何格式存储的数据。不需要任何专用的格式或工具，因此数据迁移具有高度的灵活性。
总结
图 5 显示了数据的三个阶段，以及每个阶段所使用的工具：
数据处理：databricks、python aws lambda、ec2。
数据发现：databricks、aws athena。
mlops：databricks、aws sagemaker。
各阶段的共同点是，都使用了 databricks 产品。
过程中不存在任何的供应商锁定，除了使用 aws glue 数据目录实现外部元数据存储。按使用付费的模式，支持用户根据特定场景选型替代服务。尽管这类场景目前我们尚未遇见，但不排除未来可能遇上。
图 5 整合所有服务的数据平台（译者注：图片来自 cidr 2021 论文“”）。
”
作者简介：
iván gómez arnedo 是一位具有丰富经验的数据工程师，致力于解决架构和可扩展性等具有挑战性问题，以及构建数据密集型应用，取得了良好的业绩。在加入 denexus 之前，iván 曾在 basf 银行和 santander 银行参与多项关键数据项目。
原文链接：
评论