数据是组织最重要的资产。 66% 的公司仍然缺乏一致的、集中的数据质量策略，尽管它对于做出关键的业务选择至关重要。 数据孤岛的问题是数据分散在多个系统中。 结果，部门、程序和系统之间的协作受到影响。 在没有数据集成的情况下访问单个活动或报告将需要跨不同平台登录到各种帐户或位置。 此外，不正确的数据处理会对组织造成毁灭性的后果。
什么是数据集成？
数据集成是将来自不同来源的数据组合成单个数据集的实践，其最终目标是为用户提供跨广泛主题和结构类型的数据的一致访问和交付，以及满足所有应用程序的信息需求和业务流程。
数据集成过程是整个数据管理过程中最重要的组成部分之一，随着大数据集成和共享现有数据的需求变得越来越普遍，它的使用也越来越频繁。
数据集成架构师创建数据集成工具和平台，支持自动数据集成过程，用于将数据从源系统链接和路由到目标系统。 这可以使用多种数据集成技术来完成，例如：
- 提取、转换和加载： 来自不同来源的数据集的副本被收集、协调并加载到数据仓库或数据库中。 在为特定分析目的进行更改之前，数据被提取、加载并转换到大数据系统中。
- 变更数据捕获： 检测数据库中的实时数据变化并将其应用于数据仓库或其他存储库。
- 数据虚拟化： 不是将数据加载到新的存储库中，而是将来自不同系统的数据虚拟集成以产生统一的视角。
- 数据复制： 一个数据库中的数据被复制到其他数据库中，以保持信息同步以用于操作和备份目的。
- 流数据集成： 一种实时数据集成方法，可以持续集成多个数据流并将其馈送到分析系统和数据存储库中。
什么是大数据集成？
大数据集成是指高级数据集成过程，将来自 Web 数据、社交媒体、机器生成的数据和来自物联网 (IoT) 的数据等来源的数据组合到一个框架中，以管理数量巨大、种类繁多的数据，以及大数据的速度。
大数据分析解决方案需要可扩展性和高性能，这凸显了对标准数据集成平台的需求，该平台支持分析和数据质量，并通过向用户展示其组织最完整和最新的视角来提升洞察力。
大数据集成服务中使用实时集成技术来补充传统的 ETL 技术，并为持续流式传输数据提供动态上下文。 实时数据集成的最佳实践通过要求更多的前期刺激和测试、采用实时系统和应用程序、用户实施并行和协调的摄取引擎、在管道的每个阶段建立弹性来解决其肮脏、移动和临时的性质预测组件故障，并使用 API 标准化数据源以获得更好的洞察力。
数据集成与应用程序集成
数据集成解决方案的开发是为了响应关系数据库的广泛使用以及在它们之间有效传输信息（通常涉及静态数据）的日益增长的需求。 另一方面，应用程序集成控制两个或多个应用程序之间实际操作数据的实时集成。
应用程序集成的最终目标是使独立设计的应用程序能够协同工作，这需要独立数据副本之间的数据一致性，管理由不同应用程序执行的多个任务的集成流，以及与数据集成要求类似，单个用户从独立设计的应用程序访问数据和功能的接口或服务。
云数据集成是实现应用集成的典型技术。 它指的是一个工具和技术系统，它集成了大量用于实时数据和过程交换的应用程序，并通过网络或互联网提供多种设备的访问。
为什么数据集成很重要？
想要保持竞争力和相关性的企业正在拥抱大数据，以及它的所有好处和缺陷。 数据集成支持在这些庞大的数据库中进行搜索，从而带来从企业智能和消费者数据分析到数据丰富和实时信息交付的各种好处。
企业和消费者数据的管理是数据集成服务和解决方案的一个关键用例。 为了提供企业报告、商业智能（BI 数据集成）和复杂的企业分析，企业数据集成将集成数据馈送到数据仓库或虚拟数据集成架构中。
客户数据集成为业务经理和数据分析师提供关键绩效指标 (KPI)、财务风险、客户、制造和供应链运营、法规遵从活动以及业务流程的其他方面。
数据集成在医疗保健行业尤为重要。 通过将来自不同系统的数据整理成相关信息的单一视角，从中可以得出有用的见解，来自不同患者记录和诊所的集成数据可帮助临床医生识别医疗疾病。 有效的数据收集和集成还可以提高医疗保险理赔处理的准确性，并提供一致且准确的患者姓名和联系信息记录。 互操作性是指不同系统之间的信息共享。
数据集成的五种方法
实现数据集成，有五种不同的方式或模式：ETL、ELT、流、应用程序集成 (API) 和数据虚拟化。 数据工程师、架构师和开发人员可以使用 SQL 手动设计架构来执行这些过程，或者他们可以设置和管理数据集成工具，从而加速开发并使系统自动化。
下图描述了它们在现代数据管理流程中的位置，将原始数据转换为干净的、业务就绪的数据。
以下是数据集成的五种基本方式：
#1。 ETL
ETL 管道是一种传统的数据管道，它使用三个过程来转换原始数据以匹配目标系统：提取、转换和加载。 在被放入目标存储库（通常是数据仓库）之前，数据被转换到暂存区。 这可以在目标系统中实现快速准确的数据处理，最适合需要复杂更改的小型数据集。
变更数据捕获 (CDC) 是一种 ETL 方法，指的是识别和收集数据库变更的过程或技术。 这些修改随后可以部署到另一个数据存储库，或者以 ETL、EAI 或其他类型的数据集成工具可以使用的格式提供。
#2。 外语教学法
数据立即在目标系统内加载和转换，目标系统通常是基于云的数据湖、数据仓库或数据湖屋，在更当前的 ELT 管道中。 因为加载通常更快，所以当数据集庞大且及时性至关重要时，此策略更合适。 ELT 在微批处理或更改数据捕获 (CDC) 期间工作。 微批处理，也称为“增量加载”，仅加载自上次成功加载以来修改过的数据。 另一方面，CDC 在数据发生变化时不断从源加载数据。
#3。 数据流
流数据集成不是将数据分批放入新的存储库，而是将数据从源实时传输到目标。 现代数据集成 (DI) 解决方案可以将分析就绪数据传输到流媒体和云平台、数据仓库和数据湖中。
#4。 应用集成
应用程序集成 (API) 允许不同的程序通过在它们之间移动和同步数据来相互通信。 最常见的用例是支持运营需求，例如确保您的人力资源系统和财务系统具有相同的数据。 因此，应用程序集成必须确保数据集之间的一致性。
此外，这些不同的应用程序通常有自己的 API 来发送和接收数据，因此 SaaS 应用程序自动化工具可以帮助您轻松、大规模地创建和维护本机 API 集成。
#5。 数据虚拟化
数据虚拟化，如流式传输，实时提供数据，但仅在用户或应用程序请求时提供。 尽管如此，通过虚拟合并来自多个系统的数据，可以生成统一的数据视图并按需提供数据。 虚拟化和流式处理是设计用于处理高性能请求的事务系统的理想选择。
这五种方式中的每一种都与周围的生态系统同步发展。 由于数据仓库在历史上是目标存储库，因此必须在加载之前修改数据。 这是传统的 ETL 数据管道（提取 > 转换 > 加载），它仍然适用于需要大量转换的适度数据集。
然而，随着当前的云架构、更大的数据集、数据结构和数据网格设计，以及支持实时分析和机器学习项目的需求激增，数据集成正在从 ETL 向 ELT、流和 API 发展。
重要的数据集成用例
本节将讨论四个关键用例：数据摄取、数据复制、数据仓库自动化和大数据集成。
#1。 数据摄取
数据摄取是将数据从多个来源传输到存储位置（例如数据仓库或数据湖）的过程。 摄取可以实时或分批进行，通常包括清理和标准化数据，以便数据分析工具可以对其进行分析。 将数据迁移到云端或构建数据仓库、数据湖或数据湖屋都是数据摄入的示例。
#2。 数据复制
数据复制是将数据从一个系统复制和移动到另一个系统的过程，例如从数据中心的数据库到云端的数据仓库。 这保证了正确的数据得到备份并与操作需求同步。 复制可以批量、按预定批次或跨数据中心和/或云实时进行。
#3。 数据仓库自动化
通过自动化数据仓库生命周期——从数据建模和实时摄取到数据集市和治理——该过程加快了分析就绪数据的可用性。 该图描述了数据仓库的建立和运行中自动化和持续改进的主要过程。
#4。 大数据整合
与大数据相关联的结构化、半结构化和非结构化数据的巨大数量、多样性和速度要求使用先进的工具和技术。 目标是为您的大数据分析工具和其他应用程序提供全面和最新的业务视图。
这意味着您的大数据集成解决方案需要复杂的大数据管道，能够自主移动、整合和转换来自不同数据源的大数据，同时保留沿袭性。 要处理实时、连续的流数据，它必须具有出色的可扩展性、性能、分析和数据质量特征。
数据集成的好处
最后，数据集成使您能够评估可信赖的单一受控数据源并据此采取行动。 来自许多不同且互不关联的来源（广告平台、CRM 系统、营销自动化、网络分析、财务系统、合作伙伴数据，甚至实时来源和物联网）的大型复杂数据集正在淹没组织。 而且，除非分析师或数据工程师花费大量时间为每份报告生成数据，否则无法将所有这些数据链接在一起以创建公司的整体图景。
数据集成连接各种数据孤岛，并提供完整、准确和最新的可靠、集中的受控数据源。 这使分析师、数据科学家和商人能够使用 BI 和分析工具来检查和分析整个数据集的趋势，从而产生可提高绩效的可操作见解。
以下是数据集成的三大优势：
提高准确性和信任度：您和其他利益相关者将不再需要担心来自哪个工具的 KPI 是否正确或是否包含特定数据。 错误和返工也会大大减少。 数据集成提供了一个可靠、集中的正确、受控数据来源，您可以依赖它：“一个事实来源”。
更多数据驱动和协作决策：一旦原始数据和数据孤岛被转化为可访问的、分析就绪的信息，整个企业的用户就更有可能参与分析。 他们也更有可能跨部门协作，因为来自公司所有部门的数据都汇集在一起，他们可以很容易地看到他们的行为如何影响彼此。
提高效率：当分析师、开发和 IT 团队不花时间手动收集和准备数据或构建一次性连接和自定义报告时，他们可以专注于更具战略性的目标。
数据集成挑战
获取多个数据源并将它们组合成一个结构本身就是一个技术问题。 随着越来越多的企业开发数据集成解决方案，他们负责开发预构建的流程，以便将数据可靠地传输到需要的地方。 虽然这在短期内节省了时间和金钱，但实施可能会受到各种挑战的阻碍。
以下是组织在开发集成系统时面临的一些最普遍的问题：
- 如何到达终点线 — 大多数企业都知道他们想要从数据集成中得到什么——特定问题的解决方案。 他们经常忽视的是到达那里所需的旅程。 负责实施数据集成的任何人都必须了解必须收集和处理哪些类别的数据、这些数据来自何处、将使用这些数据的系统、将执行哪些类型的分析以及必须多久更新一次数据和报告。
- 来自遗留系统的数据 – 集成工作可能包括包含来自遗留系统的数据。 然而，这些数据经常缺少活动的时间和日期等指标，而这些指标通常包含在较新的系统中。
- 来自新兴业务需求的数据 – 今天的系统从各种来源生成各种类型的数据（例如非结构化或实时），包括电影、物联网设备、传感器和云。 弄清楚如何快速更改您的数据集成基础架构以满足集成所有这些数据的需求对于您的业务取胜至关重要，但由于数量、速度和新数据格式都提出了新问题，因此极具挑战性。
阅读： 水平整合：战略详细指南
- 外部资料 – 从外部来源获得的数据可能不如从内部来源获得的数据详细，因此更难以同样的彻底性进行审查。 此外，与外部供应商的合作伙伴关系可能会使整个公司的数据共享变得具有挑战性。
- 紧跟 — 一旦集成系统启动并运行，工作并没有结束。 数据团队需要根据最佳实践以及公司和监管机构的最新要求来保持数据集成工作的最新状态。
数据集成技术
有五种主要类型的数据集成技术。 下面列出了每种方法的优点和缺点，以及何时使用它们：
#1。 手动数据集成
手动数据集成是手动集成所有众多数据源的过程。 这通常由数据管理员通过使用自定义代码来完成，是处理一次性事件的一种极好的方法。
优点：
- 削减成本的措施
- 更多自由
缺点：
- 错误余地更大
- 缩放是困难的。
#2。 中间件数据集成
在这种类型的数据集成中使用中间件或软件来连接应用程序并将数据发送到数据库。 它对于将遗留系统与现代系统相结合非常有用。
优点：
- 改进的数据流
- 系统之间的访问要容易得多。
缺点：
- 机会少
- 功能有限。
#3。 应用集成
该策略完全依赖于软件应用程序来查找、检索和集成来自许多来源和系统的数据。 这种方法非常适合在混合云环境中运营的公司。
优点：
- 简化信息交换
- 流程精简
缺点：
- 限制访问
- 不一致的结果
- 设置很复杂。
#4。 统一访问集成
这种方法结合了来自多个来源的数据并统一呈现。 这种方法的另一个优点是它允许数据在执行此功能时保留在其原始位置。 这种方法非常适合需要访问不同的、多样化的系统而不会产生创建数据副本的成本的企业。
优点：
- 存储要求极低。
- 更简单的访问
- 数据可视化提速
缺点：
- 系统限制
- 数据完整性问题
#5。 共享存储集成
这种方法类似于统一访问集成，只是它制作了数据的数据仓库副本。 这无疑是寻求最大化数据价值的公司的最佳方式。
优点：
- 加强了版本控制。
- 减轻负担
- 改进的数据分析
- 精简数据
缺点：
昂贵的存储空间
运营费用高
数据集成工具
存在用于各种数据集成方法的各种数据集成工具。 一个像样的集成工具应该具有以下特性：可移植性、简单性和云兼容性。 以下是一些最常见的数据集成工具：
- 架构ESB
- 丰富
- Automate.io
- 资料台
- 华服美饰
结论
认为数据集成允许企业将所有信息集中在一个地方是轻描淡写的说法。 事实上，这是企业充分发挥潜力所必须迈出的第一步，也是最重要的一步。 除非深入研究，否则很难想象这个主题的诸多好处。
参考资料
