ETL最佳做法

使用ETL登台表

大多数传统的ETL流程使用三个不同的串行流程来执行其加载:提取,转换,最后到目标的加载。但是,对于某些较大或复杂的负载,使用ETL登台表可以提高性能并降低复杂性。作为我关于ETL最佳实践的连续系列的一部分,在本文中,我将提供一些建议…


在ETL中管理错误数据

在我正在进行的有关ETL最佳实践的系列的最后一篇文章中,我讨论了ETL流程中错误处理的重要性,回顾了应用程序流的最佳实践,以防止或从系统错误或数据异常中正常恢复。在本文中,我将对该主题做进一步的探讨,以探讨在ETL中管理不良数据的设计模式。…


What is ETL?

在我正在进行的有关ETL最佳实践的系列文章中,我将说明一组提取-转换-加载设计模式,这些模式已被证明是非常有效的。为了对该主题进行全面介绍,我在列表中添加了介绍性的前传,以解决一个基本问题:什么是ETL?什么是ETL? ETL是提取,转换,…


ETL Error Handling

在设计适当的ETL体系结构时,必须回答两个关键问题。第一个是“此过程应该做什么?”必须先定义数据的起点和终点,转换,过滤和其他步骤,然后才能进行其他任何工作。必须回答的第二个问题是“过程失败时应该怎么办?”太…


ETL Atomicity

我仍然记得我开发的第一个真正的ETL流程。当时我在一家医院工作,经历了主要的系统实现,因为我们用SQL Server后端的更现代的医疗应用程序套件取代了具有17年历史的UNIX系统。我的任务是为此转换构建,测试和执行ETL流程。而…


ETL Modularity

想象一下,您已经构建了一个软件。实际上,我们将其称为“事物”。您在Thing中投入了大量工作,它确实可以实现您想要的。您将Thing作为更大解决方案的一部分进行了一些修改,经过几次修订,其行为得到了验证,并且…


ETL Data Lineage

在十年半之前开始我的技术职业之前,我花了几年时间从事执法工作。在该领域,必须快速学习的一件事就是证据保管链的概念。我们必须遵循许多程序来确保不仅收集和保存证据,…


ETL Auditing

它经常发生:一旦ETL流程经过测试并成功执行,就不会再进行检查以确保该操作确实按照预期执行了。有时可能要花一天时间,有时甚至要花一年时间,但最终该电话来自客户,同事或老板:“这些数据有什么问题?”…


ETL Logging

如果要调查数据专业人员,他们最喜欢从事哪些工作,那么ETL日志记录可能不会列出。但是,建立任何适当的日志记录策略对于任何ETL体系结构的成功都是至关重要的。我喜欢将优质的采伐基础设施与房屋的管道系统进行比较:它不向外看,…