ETL反模式:执行全负载而不是增量负载

在我的ETL Antipatterns系列的最后一篇文章中,我写了关于摄取或加载不必要数据的常见反模式的信息。这篇简短的文章介绍了一种特定的情况,即通过执行完整的数据加载而不是使用较小的增量加载来加载超出必要数量的数据。 ETL反模式:执行全负载而不是增量负载…


ETL反模式:处理太多数据

在我有关ETL反模式的后续系列文章中,我’将讨论在提取-转换-加载过程中加载过多数据的问题。 ETL反模式:处理太多数据企业ETL流程中的一个常见设计缺陷是,它们处理的数据太多。能够访问广泛而深入的数据为历史报告和…


ETL反模式:从编写代码开始

在我有关ETL反模式的系列的第一篇文章中,我’我将讨论构建提取-转换-加载(ETL)流程时最常见的错误步骤:第一步是直接编写代码。 ETL反模式:从编写代码开始大多数数据架构师和开发人员都是非常好奇的人。当我们看到一组数据时,我们想…


2020年庆祝十一日

We’重新将角移到12月下半月,这意味着’现在是我最喜欢的假期:Festivus!像你们中的许多人一样,我喜欢在Festivus杆子周围聚会,并分享悠久的传统,例如“壮举壮举”和“抱怨之风”。但是我最喜欢的Festivus传统就发生在此博客上:十一…


创建您的第一个Azure数据工厂

在过去的几年中,Azure数据工厂的受欢迎程度和实用性都在增长。它在初始版本中已经超越了其显着的局限性而发展,并已迅速成为一种强大的企业级ETL工具。在上一个有关此主题的文章中,我分享了SQL Server Integration Services和ADF之间的比较。在这篇文章中,我’ll walk through…


我最喜欢的演示数据集:Dunder Mifflin数据

我们当中撰写技术文章并提供技术演示的人们总是在寻找用于演示和测试的完美数据集。 Microsoft在整合示例数据库(包括Wide World Importers,AdventureWorks和Northwind Traders)方面做得很好。就我个人而言’我们发现这些工具都很有用,但是我对任何一个工具都没有特别的依恋…


在SSIS对象变量中重用记录集

几年前,我写了一篇关于使用SSIS对象变量作为数据流源的博客文章。在那篇文章中,我描述了如何将一组查询结果加载到SQL Server Integration Services中的对象类型变量中,然后将该内存中数据用作数据流中的源。在评论和…


什么,为什么,何时以及如何增加负载

在提取,转换和加载(ETL)流程中移动数据时,最有效的设计模式是仅触摸所需的数据,仅复制自上次加载以来新添加或修改的数据。这种增量负载模式通常带来的风险最小,运行时间更少,并且可以…


比较SSIS和Azure数据工厂

在15年的大部分时间里,SQL Server集成服务(SSIS)已成为在Microsoft SQL Server上运行的商店的首选企业提取转换加载(ETL)工具。最近,Microsoft在其稳定的企业ETL工具中添加了Azure数据工厂(ADF)。在这篇文章中,我’将比较SSIS和Azure数据工厂,以分享它们的相似之处,并…


SSIS目录:安装,管理,保护和监视您的企业ETL基础结构

I’我很高兴宣布我的最新著作出版。现在,Amazon上可以使用平装本和Kindle格式的《 SSIS目录:安装,管理,保护和监视您的企业ETL基础架构》。在本书中,我向读者介绍了SSIS目录,并描述了它如何适合企业ETL体系结构。这本书是设计使然…