数据湖与数据仓库：您知道这 4 个主要区别吗？

公司正在见证数据繁荣，这也需要新的基础设施和数据管理能力。 事实上，根据 2022 年的研究，大多数企业将超过 30% 的 IT 预算用于数据存储、备份和灾难恢复。这涵盖结构化和非结构化数据集。

与数据操作相关的两个关键概念是湖泊和仓库。 它们有一些共同点——例如，两者都用于存储，并且都可以与云进行互操作。 但了解数据湖和数据仓库之间的区别可以帮助您优化它们的使用。 例如，数据湖比仓库更适合非结构化（“大”）数据。

在我们讨论数据湖和数据仓库之间的这一差异和其他差异之前，让我们简要讨论一下每个概念。

什么是数据湖？

数据湖是一个巨大的、可大规模扩展的存储中心，其中包含大量未处理的数据，直到需要使用它们为止。

对帐户或文件的数量或大小没有限制，也没有指定的用例。 因此，它可能包含任何类型的数据。 数据可能是未处理的、半结构化的或结构化的，并且可能来自各种来源。 需要时，您可以从数据湖中检索数据。

当您需要收集和存储大量数据而无需立即处理或分析时，您可以使用数据湖模型。 数据科学家或工程师是数据湖的最终用户。

多个来源的集中化是数据湖的主要优势； 但是，您还应该记住一些缺点。 数据安全以及访问管理是数据湖面临的最大风险。 由于可能对隐私的要求，在没有任何监督的情况下倾倒到湖中的数据会构成威胁。

此外，数据质量可能存在问题。 如果没有足够的考虑和注意，数据湖可能会退化为一大堆无法使用的非结构化数据，没有明确的标识或索引。

什么是数据仓库？

与数据湖不同，数据仓库是来自运营和外部来源的大量企业数据。 信息已经针对特定目的进行了结构化、过滤和安排。

数据仓库通常用于促进大中型企业中跨部门特定数据库的信息交换。 它们可能持有有关产品、订单、客户、库存和工人等信息。 企业家和企业消费者是数据仓库的最终用户。

对于有用的业务信息，大多数公司必须从在不同平台上开发的许多子系统中收集数据。 这个问题可以通过数据仓库来解决，它将组织的所有数据整合到一个集中的存储库中，并允许从单个站点进行访问。

使用数据仓库时需要考虑一些缺点。 它需要持续的数据清理、转换和集成。 由于公司要实现的目标很多（有时相互矛盾），因此实施起来可能充满困难。

此外，数据仓库可能需要重新配置您的 IT 和操作系统。

如您所见，数据湖和数据仓库各有利弊。 重要的是要了解两者之间的区别以适当地使用每个系统。

数据湖支持非结构化数据，但仓库不支持

这可能是数据湖和数据仓库之间最大的区别。

在数据湖中，原始数据以其原始格式存储。 除了半结构化和非结构化数据，如物联网 (IoT) 设备日志（文本）、照片（.png、.jpg）、视频（.mp4、.wav 等）和其他结构化格式，交易通过客户关系管理 (CRM) 和企业资源规划 (ERP) 系统接收的信息以及社交媒体聊天等大数据也可以合并。

相反，数据仓库可以存储文本、数字和其他形式的数据，这些数据可以使用结构化查询语言 (SQL) 查询访问。 这表明存储在仓库中的数据类别与关系数据库中的数据类别相同。

数据湖允许存储无组织的、半结构化的和结构化的信息，而数据仓库中保存的大部分数据都是结构化的。 然而，某些数据集，如 Snowflake（具有变体和对象数据类型），也可以存储半结构化数据。

数据仓库可以存储来自非结构化和半结构化资源的信息，但前提是这些信息已经过转换。

（另请阅读：数据隐私与数据安全）

数据湖使用 Schema-on-Read，而数据仓库使用 Schema-on-Write

模式描述了数据的形式化组织。 数据湖受益于读取​​模式。 因此，每次我们收到数据时，都会指定格式和结构，但在查询数据湖之前没有设置 big-O（函数顺序）规则。

与数据仓库不同，数据湖不使用写时模式，这意味着数据的结构和组织必须在数据传输到数据仓库之前指定。

相比之下，数据架构师或操作员必须在数据仓库的数据框架上投入大量精力。 这是因为对于数据分析师而言，数据结构必须易于使用和报告。 这包括规范化或非规范化表，以及星型和雪花模式。 由于必须为研究和商业智能准备数据模型，因此使用了写时模式。

数据湖和数据仓库之间的这种差异源于一个核心事实：湖拥有企业需要的所有数据，以后可能会使用，但可能永远不会使用。 相反，数据仓库在吸收它之前会非常小心地选择它最终要存储的材料，因为它必须为使用做好更好的准备。

数据仓库使用 ETL 工作流并且通常更昂贵

提取、转换和加载 (ETL) 方法用于将数据传输到仓库中。 这些是采取的行动：

• 从原始数据源获取信息
• 净化和解释数据
• 将材料添加到操作数据存储库中

相比之下，数据湖使用 ELT 方法。 如有必要，数据分析师或架构师会在分析后修改数据。 数据湖和数据仓库之间的这种差异导致了另一个重要因素：数据湖可以通过使用可扩展、廉价的商品服务器以及具有低成本专用层的云主导的对象存储来摆脱困境。 这降低了存储每 GB 数据的价格。

相比之下，由于运行分析查询所需的额外处理资源及其存储费用，数据仓库要昂贵得多。 它使用 ETL 而不是 ELT 也会增加额外的费用。

数据湖更易于使用，但仓库中的数据更易于使用

“易用性”一词指的是数据存储库的整体可用性，而不是其中存储的数据。 由于数据湖的架构没有确定的结构，访问和更改都很简单。 此外，由于数据湖没有限制，用户可以快速更改数据。 根据定义，数据仓库更加结构化。

数据仓库中数据的处理和组织使数据更易于解释和利用。 保存在仓库中的每条信息都是出于特定目的而完成的，因为只有经过过滤和处理的数据才存储在那里。 换句话说，空间不会浪费在可能永远不会被使用的信息上，并且数据已经准备就绪可以使用。

然而，结构限制使得修改数据仓库变得困难且昂贵。

如您所见，数据湖和数据仓库都为您的业务提供了重要的好处。 如果你经常处理大数据，那么湖泊是必备的； 相比之下，仓库对于支持 BI 和分析至关重要，并且通常将两者并排使用以获得最佳结果。