您的公司每天是否发生大量业务交易？ 您是否希望研究前几年的数据以使您的公司更加成功？ 伟大的！ 那么除了数据仓库之外，您还需要一个数据库……但是哪些信息属于哪里？ 数据库和数据仓库都是不同类型存储系统的示例。 然而，它们的用途却截然不同。 在本文中，我们将讨论关系型、操作型、事务型、数据湖和数据仓库之间的区别。
让我们快速了解一下这些不同存储系统的工作原理以及它们的用途的基础知识。
什么是数据库？
数据库将信息或数据存储在集中位置。 联机事务处理 (OLTP) 依赖于用户可以数字方式访问的数据库。 自从计算机化数据存储出现以来，企业一直依赖数据库管理系统。 数据库管理系统（DBMS）只是提供便捷的信息访问的一种手段。
关系数据库管理系统 (RDBMS) 已经主导市场数十年，因此当我们谈论数据库时，我们几乎总是指 RDBMS。 公司使用它们是因为使用关系数据库管理系统存储和检索数据更快。
此外，数据库是一组排序的信息。 关系数据库将信息存储在“表”中，“表”构成将相关数据聚集在一起的数据集合。 在这个类比中，表格代表具有列和行的网格。
- 表中的每条记录（例如发货列表或客户列表）都由一行表示。
- 客户姓名、地址、电话号码等数据字段可以视为表中的列。
- 列、行和表都是由模式在数据库中定义的，模式是所有数据库部分的规范。
联机事务处理 (OLTP) 系统严重依赖数据库作为后端，因为它们一次添加、更新和删除一条记录。 由于记录一次从表中检索，因此最有效的存储方法是按行存储，并在关键字段上建立索引以加快检索速度。
然而，并非所有基础设施都依赖交易模型。 检查一段时间内收集的数据模式可能会有所帮助。 没有必要知道某些记录的值。 您需要行为摘要，例如消费总额和行驶距离。 同样，您在获取此信息后必须迅速采取行动。
数据库用例
数据库与数据仓库一样，在各个领域都有多种实际用途。 个人数据库是另一个常见的应用程序。 举几个例子如下：
- 电子健康记录 (EHR)。 患者的信息早在第一次就诊时就可以存储在电子健康记录 (EHR) 中。 然后，在后续访问中，信息将被刷新。 这些数据在平台上托管时受到保护且私密。 它修改了预定的预约时间和日期，以及患者当前的症状和诊断列表。 电子健康记录还允许医生在任何地点查看其数据，只要他们获得许可即可。
- 消费者建议。 Netflix 和 Spotify 使用数据库来跟踪他们提供的节目和歌曲，以及您的观看和收听习惯。 NoSQL 数据库保存此数据，并使用它根据您之前的交互提出您接下来可能希望看到的内容的建议。
数据库专业人员
数据科学专家通常是具有数据库工作专业经验的人。 下面描述了该领域的一些常见职业。 请记住，以下职位可能因行业而异。
- 数据库架构师。 数据库架构师的工作是创建和维护数据库。 他们开创了数据库管理、开发和保护的新方法。 他们的主要目标是提高数据分析师、数据科学家和工程师等用户的数据可访问性。 美国数据库架构师的年薪中位数为 109,693 美元。 什么是数据库管理员，如何成为一名数据库管理员？
- 数据库管理员。 数据库管理员的工作是确保数据库顺利运行。 他们设计和实施数据库来跟踪财务记录、产品规格和订单详细信息等信息。 数据库管理员还处理权限以确保只有授权用户才能访问数据。 此外，美国数据库管理员的年薪中位数为 78,837 美元。
- 数据分析师：为了帮助企业解决问题，数据分析师收集、清理和分析数据集。 美国数据库分析师的平均年收入为 74,294 美元。
数据库类型
存在多种数据库。 您可以将它们分类为书目、全文、数字或基于图像。 在计算机领域，数据库通常根据其采用的结构进行分组。
以下是重要组织数据库的几个示例：
#1. 关系型
这种统计方法以允许灵活的数据组织和检索的方式描述信息。 表是关系数据库的构建块。 在这些表中，信息是根据预定格式构建的。 表中的每一列存储某种信息，每一行存储该信息的一个实例。 然而，关系数据库使用行、列和表来排列有关各个客户的数据。 对它们建立索引有助于使用 SQL 和 NoSQL 查询进行搜索。
此外，关系数据库的用户和应用程序编程接口通常是用 SQL 编写的。 在关系数据库中，添加新的数据类型不需要重写任何连接的程序。 关系数据库中的数据借助关系数据库管理系统（RDBMS）进行管理、查询和检索。 另外，请阅读 什么是关系数据库管理系统.
通常，RDBMS 允许其用户管理谁可以读取和写入数据库，以及生成报告和进行分析。 为了保证所有事务最终确定以及所有数据一致，某些数据库提供了对ACID模型的支持。
#2. 分散式
该数据库包含位于多个位置的文件或记录。 数据的处理也是通过网络分布和复制的。
同质分布式数据库在每个节点使用相同的硬件，并共享相同的软件堆栈来管理和访问跨节点的数据。 异质群体也存在。 在这种情况下，多个位置可以使用不同的硬件、操作系统和数据库程序。
#3。 云
这些数据库是为公共云、私有云或混合云中的虚拟环境构建的。 用户传输和存储的数据量决定了他们的月费。 它们还具有高可用性和可扩展的资源。 这些数据库与 SaaS（软件即服务）应用程序兼容。
＃4。 图形
这些注册表是非关系数据库的示例。 他们使用图论思想进行关系存储、映射和查询。 节点和边是图数据库的构建块。 实体或节点是其他节点之间的链接。
然而，这些数据库通常用于网络分析。 从公司网站和社交媒体平台收集的客户数据可以使用图形数据库进行分析。
SPARQL 语言和协议用于图数据库中的分析。 SPARQL 可以采用与 SQL 相同的方式分析数据，并且还可以用于语义分析，其中涉及查看数据片段之间的连接。 因此，它可用于对包含结构化和非结构化信息的数据集进行分析。 使用 SPARQL，用户可以分析关系数据库中的数据，利用朋友的朋友连接、PageRank 并找到最短路径。
＃5。 NoSQL
NoSQL 数据库擅长管理大量不同的数据。 这些替代方案可以克服关系数据库的局限性。 此外，他们还擅长评估存储在云计算基础设施和大型非结构化数据集上的数据。 非关系数据库是此类数据库的别称。
数据库为何面临困难？
在数据库安装、操作和维护过程中始终会出现一些困难。
- 公司的数据是必须不惜一切代价保护的资产。 有能力的网络安全人员需要专业知识来保护数据存储库，这可能会很昂贵。
- 拥有可靠的数据是数据完整性的结果。 数据完整性很难实现，因为它需要将数据库访问限制为仅授权用户。
- 维护数据库并使其保持最新对于实现最佳效率至关重要。 如果没有得到适当的支持，底层技术或数据库中包含的数据的变化可能会对其可用性产生负面影响。
- 集成数据库也可能具有挑战性。 数据湖和数据仓库是实现这一目标的两个示例，多个数据库的整合也是如此。
什么是数据仓库
数据仓库是一个中央存储库，允许组织访问来自各个部门和单位的数据以进行报告和分析。 然后，数据仓库用于使用复杂查询生成报告。 这些报告供管理层用来制定业务决策。 在数据仓库中，您可以看到各种系统的物理和逻辑数据存储如何组合在一起。
然而，数据仓库的主要功能是集中来自多个来源的数据，以便可以查询数据、生成报告并做出业务决策。 数据仓库是 OLAP（在线分析处理）的所在地。 这种处理形式不处理事务，而是使用复杂的查询进行分析。
操作数据库和决策支持数据库（数据仓库）保存在完全不同的位置。 然而，数据仓库不是一个东西，而是一个设置。 它是信息系统架构的一部分，旨在让用户轻松访问和呈现在传统操作数据库中很难找到的数据。
数据仓库如何工作？
数据仓库是来自各种其他来源的数据的仓库。 事务系统和其他关系数据库是进入数据仓库的两个数据源。
数据可以采用以下形式：
- 结构化
- 半结构化
- 非结构化数据
商业智能工具、SQL 客户端和电子表格都可以访问存储在数据仓库中的经过转换和摄取的已处理数据。 来自多个来源的信息可以组合在数据仓库中。
组织可以通过集中这些数据来更全面地了解其客户。 因此，您可以放心，它已经考虑了可用的每一条数据。 数据挖掘只能通过数据仓库来实现。 在数据挖掘中，目标是发现可以增加收入和收益的有用趋势。
数据仓库用例
数据仓库在企业环境中有多种用途。 它们的潜在应用可能是针对特定行业的。 这里有两个例子：
- 卫生保健。 数据仓库可以存储有关患者的信息，帮助医生更好地诊断疾病并评估各种治疗的有效性。 例如，医疗保健行业的数据科学家可能会检查数据仓库中存储的信息，以了解为什么化疗更常用于 25 岁以上的癌症患者。
- 市场营销。 数据仓库可以帮助营销组织监控营销活动或新产品发布的结果。 绩效、销售和客户服务交互都可以借助内部仪表板和报告进行监控。
- 银行业。 它在银行业的广泛采用证明了它在管理桌面资源方面的功效。 一些精选的金融机构也将其用于产品和市场绩效分析以及市场研究。
- 公共部门。 政府依靠数据仓库来获取情报。 此外，它还帮助政府机构跟踪和分析个人税务和健康保险数据。
数据仓库专业人员
数据科学领域的专业人员是在工作中使用数据仓库的人。 该领域的职业定义如下。 请注意，下面列出的职位名称可能会因行业不同而略有不同。
- 商业智能 (BI) 分析师。 数据仓库是商业智能分析师的面包和黄油，他们使用它们通过数据可视化提供企业范围和特定部门的业务洞察。 他们使用数据可视化和 Python、SQL 和 Tableau 等编程语言构建报告、仪表板和其他可视化工具。 此外，美国商业分析师的平均薪资为80,654美元。
- 数据仓库分析师。 数据仓库分析师的工作包括调查和评估存储在数据仓库中的信息。 根据他们的发现，他们就如何改进公司当前的数据存储和报告流程提出了建议。 此外，他们还可以汇编并展示他们的发现，以帮助公司运营的其他领域。 美国数据仓库分析师的平均年薪为 81,010 美元。
- 数据仓库工程师。 数据仓库工程师负责开发和监督数据仓库计划。 他们可以负责确定项目参数、审查潜在的软件包以及指导长期战略的制定。 此外，美国数据仓库工程师的平均年收入为 95,760 美元。
数据仓库的类型
数据仓库 (DWH) 主要分为三种类型：
- 企业数据仓库（Edw）。 在本文中，“仓库”指的是企业数据仓库 (EDW)。 公司各地的员工都使用它来帮助他们做出决策。 它提供了一种安排和表示信息的标准化方法。 它还允许按主题对信息进行分类，从而实现更细粒度的访问控制。
- 操作数据存储。 当组织的数据仓库和 OLTP 系统都无法满足其报告需求时，就需要操作数据存储（也称为 ODS）。 ODS中的数据仓库不断更新。 这意味着它是保存员工记录和其他日常管理任务的首选。
- 数据库。 数据仓库包括数据集市作为一个特定部分。 它是为某一特定业务领域量身定制的，例如销售、财务、销售或财务。 自治数据集市允许直接从源收集数据。
数据仓库的组成部分
以下是构成数据仓库的三个组件：
- 仓库管理员。 仓库管理员的职责包括管理仓库中存储的数据。 它执行的任务包括数据一致性检查、索引和视图构建、非规范化和聚合生成、源数据转换和合并、数据归档和数据烘焙。
- 负载管理器。 前端组件是负载管理器的另一个名称。 它完成提取数据并将其加载到仓库中所需的所有任务。 为了让数据为数据仓库做好准备，这些活动还涉及转换。
- 查询管理器。 术语“后端组件”也可以指查询管理器。 它管理所有用户查询并执行所有相关流程。 该数据仓库部分的工作原理是向适当的表提交查询，以便它们可以在适当的时间运行。
数据仓库的优点
以下是数据仓库的一些好处。
- 企业可能会从数据仓库中受益，因为它集中并可以访问来自各种来源的各种数据。
- 数据仓库提供有关各种业务流程的可靠数据。 它还允许自发查询和报告。
- 数据仓库允许整合不同的数据源，从而减轻制造基础设施的负载。
- 数据仓库可以减少执行分析和生成报告所需的时间。
- 当数据被重新组织和整合时，用户运行报告和分析数据变得更加方便。
- 用户可以从集中式数据仓库中的各种来源访问关键数据。 因此，它节省了用户以前花在搜索多个数据库上的时间。
- 数据仓库是保存所有过去记录的地方。 这有助于检查不同的时间范围和模式以进行预测。
数据仓库的缺点
以下是数据仓库的一些缺点。
- 不是杂乱数据的最佳选择。
- 数据仓库的开发和部署是一个艰巨且耗时的过程。
- 存储在仓库中的数据可能很快就会过时。
- 修改数据源、索引和查询以及更改数据类型和范围可能具有挑战性。
- 数据仓库乍一看可能很简单，但实际上对于大多数消费者来说太复杂了。
- 数据仓库项目，无论管理得多么好，最终都会比原计划花费更长的时间并覆盖更多的区域。
- 仓库的用户最终可能会提出自己的一套业务规则。
- 公司必须在学习和实施过程中投入大量资金。
数据库与数据仓库
数据仓库和数据库在存储和管理数据方面具有相似的用途。 然而，必须做出一些重要的区别。 首先，数据仓库可以进行分析。 它们为企业提供分析查询来监控和报告某些指标。 另一方面，数据库只是信息的集中存储库。 数据库的主要功能是提供安全、方便的数据存储和访问。
此外，数据库和数据仓库协同工作来存储和组织企业每天生成的大量信息。 例如，一家服装制造商可能将客户数据保存在一个数据库中，将网站分析保存在另一个数据库中。 数据仓库将允许他们随着时间的推移比较两个数据集，以了解消费者行为的模式。
让我们更深入地了解这两种存储系统之间存在的区别。
#1. OLTP 与 OLAP
一种类型的数据处理系统被称为在线事务处理（OLTP）。 这是大多数公司存储运营数据的数据库的流行模型。 OLTP 通过为用户提供及时访问完整且正确的数据来促进快速解决日常业务查询。
称为在线分析处理 (OLAP) 的数据处理系统优先考虑数据分析以推动决策而不是性能和常规使用。 OLAP 系统与商业智能解决方案的集成简化了非技术经理和主管回答查询并向业务利益相关者提供深入报告的任务。
在大多数情况下，数据库是希望快速访问数据的企业的首选 OLTP 解决方案。 对于数据科学家、BI 工具和其他大规模分析用例来说，能够聚合实时和历史数据的 OLAP 解决方案是数据仓库系统的理想选择。
#2. 用例
数据仓库和数据库不可互换，并且它们的用途非常不同。
小型、离散的事务是数据库的基础，因为它们驱动组织的日常运营。 在线购票、银行账户转账以及添加新的患者信息都是此类活动的实例。
此外，有关公司的过去、现在和未来的问题需要更深入的研究，最适合数据仓库。 这包括从不同数据库进行数据挖掘等任务，以发现有关客户习惯和购买趋势的先前未知的见解。
＃3。 报告与分析
虽然 OLTP 数据库确实允许进行一些报告和分析，但由于数据的正常格式，这更具挑战性。 此外，为了获得最佳性能，数据库通常只存储最新信息，从而无法进行历史查询。
相比之下，数据仓库是专门构建的设施，最初是为了促进报告和分析而开发的。 用户可以获得当前和过去的数据，从而扩大了可能结论的范围。
＃4。 数据结构
数据库中的信息已经“标准化”。 通过标准化，您不必担心再次保存相同的信息。 通过消除在多个位置存储相同信息的需要，数据库变得更加一致，并且更可靠。
数据标准化涉及将信息划分为多个表。 单独的数据实体由表表示。 例如，跟踪图书销售的数据库会将其数据分为三个表：一个用于图书详细信息，一个用于每本书的主题，一个用于出版商。
通过标准化数据，我们可以保证我们的数据库具有内存和磁盘效率。 然而，它在查询方面效率很低。 由于其结构，规范化数据库可能难以查询。 数据仓库中的数据经常是非规范化的，并且包含重复的数据以便于访问，因为企业希望对这些数据运行复杂的查询。
＃5。 服务等级协定
由于数据库用于在线事务处理（OLTP），因此其可用性至关重要，必须超过 99.9%。 当联机事务处理 (OLTP) 数据库出现故障时，可能会导致重大问题并可能导致操作停止。
然而，数据仓库主要用于后端分析，因此停机时间对他们来说并不是什么问题。 事实上，大多数数据仓库都有计划的维护窗口，在此期间添加新数据。 每个人都从停机时间中受益，因为它可以在用户不需要访问数据时实现更快的上传。 通过关闭除基本必需品之外的所有内容，您的过程将加快并变得更加精确。
#6。 优化
当数据更新（添加、更改或删除）时，数据库旨在尽可能快速、高效地完成更新。 事务处理效率需要闪电般快速的数据库响应时间。 数据库最重要的功能之一是它能够跟踪系统内发生的每笔交易，因为如果没有此功能，业务就不会持续很长时间。
数据仓库的设计目的是在短时间内处理庞大的多维数据集上的少量复杂查询。
数据仓库比数据库大吗？
是的。 可以使用数据库软件将数据存储在所有这些位置； 但是，就存储的数据量而言，数据仓库比数据库大得多。 数据仓库主要用于数据挖掘和数据分析，为决策者提供帮助。
操作数据库与数据仓库
有几种不同类型的数据库系统可以满足企业的各种需求，包括可操作的 DBMS 和数据仓库。
当涉及到企业的日常运营时，只有最好的数据库系统才能发挥作用。 为了管理和控制生产和交付组织产品或服务的过程，这些系统旨在用于事务处理。 积极使用的数据库系统包括用于管理客户关系、库存水平和订单的数据库系统。
另一方面，数据仓库的构建是为了帮助公司内的分析和决策过程。 这些平台用于将来自多个操作系统的信息汇集到一个连贯的视角中。 商业智能、数据分析和决策都得到数据仓库的协助，因为它们执行查询和生成报告的能力非常好。
以下是数据仓库和操作数据库系统之间的一些最显着的区别：
- 目的。 为了保持事物顺利运行，企业依赖于可操作的数据库系统，而数据仓库则有助于战略规划和深入研究。
- 数据结构。 操作数据库系统中的数据通常是标准的，或结构化为许多相关表，以减少数据重复的可能性并提高其包含的数据的可靠性。 然而，数据仓库通常采用非规范化数据结构，这意味着信息存储在更少、更高效的表中，以用于报告和分析。
- 数据量。 数据仓库可以保存多年的数据，但操作数据库系统只需要跟踪最新的数据。
- 性能。 操作数据库针对大容量、高速事务处理进行了优化。 但数据仓库是为查询和报告而构建的，并处理对海量数据集的复杂分析查询。
事务数据库与数据仓库
事务数据库的基本功能是捕获数据，而数据仓库数据库的主要功能是为对业务成功至关重要的分析查询提供答案。
在线事务处理（OLTP）技术，包括事务数据库，旨在实时记录和处理事务。 以客户从 ATM 机收到现金但交易未反映在银行记录中的情况为例。 如果这种情况经常发生，银行将无法生存。 因此，银行系统的结构是为了确保您在 ATM 机等待时记录您的交易。 由于该系统针对写入进行了优化，因此查询（读取操作）速度很慢。
另一方面，数据仓库 (DW) 是一种数据库，其明确目的是使数据分析和查询更容易。 这些数据库中的数据是只读的，但与传统在线事务处理 (OLTP) 应用程序中使用的数据库相比，可以以更节省时间和资源的方式对其进行查询和分析。 在这方面，OLAP 系统被设计得易于用户阅读。 通过将商业智能解决方案与应用程序数据库分开，您可以避免在 CFO 请求报告时使银行和 ATM 脱机。
为了避免新手用户收到应用程序数据库图表并被告知要在众所周知的表激增的大海捞针中找到数据，DW 也得到了更好的指定和维护。 它在回答问题时也更快、更可靠。
此外，数据仓库还简化、标准化了表结构，并且通常对表结构进行非规范化，从而提高了分析质量。 因此，您可以在更简单、记录广泛的表中仅保留必要的数据，并减少表连接和查询复杂性，如下所示。
数据湖、数据库、数据仓库
以下是这三种存储系统之间的一些显着差异。
- 结构。 数据库遵守严格的模式约束并遵循预定的结构。 另一方面，数据仓库和数据湖可以存储所有三种类型的数据（结构化、半结构化和非结构化）。
- 目的。 实时事务处理是数据库真正的亮点。 数据仓库的主要目的是促进分析和报告。 数据探索和复杂分析只是存储在数据湖中的原材料的两个示例。
- 转型。 数据库只能存储已设置的数据，并且要求数据库模式的一致性。 数据仓库和数据湖提供了动态更改模式和转换数据的灵活性。
- 历史。 大多数数据库只保留最近的信息。 数据仓库收集和组织过去的数据集，用于预测趋势和做出正确的选择。 为了促进全面的数据探索，数据湖不仅可以保存历史数据，还可以保存实时数据。
为什么不使用数据仓库？
简而言之，数据库处理事务数据用于运营目的，而数据仓库存储和分析大量数据用于战略决策。 决策和扩展可以由任何和所有可用数据提供，从网站上的用户交互到销售和库存信息。
结论
总之，数据仓库和数据库都是存储海量数据的有效方式。 两者在企业界都非常有价值，但它们的好处不同。 它们在当今信息经济中的价值是巨大的。 然而，这种独创性取决于企业的目标。
数据库和数据仓库常见问题解答
我应该使用数据仓库还是数据库？
创建和使用数据库的主要目的是存储信息。 然而，在分析数据时，数据仓库会派上用场。 大型分析查询最好由数据仓库处理，而数据库通常设计用于逐个事务的读写操作。
Mysql是数据库还是数据仓库？
MySQL 不是一个轻量级的 DBMS； 它是一个完整的数据库管理系统。 由于其关系格式，MySQL 可以说是最容易使用和学习的数据库。 然而，上述一些其他选择可能更适合广泛实施。
Snowflake 是数据仓库吗？
是的。 Snowflake 的架构将中央数据存储层与数据处理层分开，与 BigQuery 的架构非常相似。 由于在性能、可扩展性和查询优化方面优于竞争对手，Snowflake 成为目前市场上最受欢迎的数据仓库。 问题是雪花通常更贵，所以你必须考虑到这一点。
类似文章
参考文献
