ETL反模式:跳过文档

文档是既讨厌又被爱的资产。创建技术和业务文档通常被认为是繁琐的工作,对于每个项目来说确实应该做些事情,但通常很容易将其推迟到以后(或完全跳过)。

另一方面,好的文档–特别是围绕数据移动和ETL流程–与它描述的过程一样有价值。清晰,最新的文档描述了ETL工作流程的内容,时间,地点和原因,这增加了透明度,并使支持该过程的人员更容易理解该过程。

ETL反模式:跳过文档

I’我会承认,文档工作远没有真正构建您自己的东西有趣’重新记录。创建文档有点像在一个非常有趣的聚会之后在清理团队上工作:没有人真的想要这样做,但是它需要完成并且正确完成。

但是好的文档对于任何技术项目都是必不可少的,而且’对于ETL项目尤其如此。在提取-转换-加载过程中处理数据的方式对呈现给该数据使用者的信息有巨大影响。不透明或处理数据不正确的ETL流程只会使结果输出贬值。

好的文档是什么样的?

简而言之,好的文档会针对预期的受众。对于技术人员,请包括诸如元数据规范,安全性和身份验证以及详细的错误处理之类的主题。半技术或非技术业务用户对任何计算值的摘要以及在处理过程中应用的业务规则的简要叙述将更感兴趣。这两个受众都将对正在使用的数据源,处理的任何包含或排除规则以及加载过程的运行节奏感兴趣。

It’为技术用户和业务用户提供单独的文档很常见。尽管这需要付出额外的努力,但拥有良好的文档解决了每个小组可能遇到的问题,这两个受众都会受益。

创建良好的ETL流程文档需要花费时间和精力,但是其价值不能夸大。唐’在记录数据移动和转换任务的必要步骤上,跳过了捷径。

关于作者

Tim Mitchell
Tim Mitchell is a 数据架构师和顾问 专门研究摆脱数据痛点的人。 在数据仓库,ETL,报告或以下方面需要帮助 训练?如果是这样, 联系蒂姆 进行30分钟的无义务聊天。

发表评论

该网站使用Akismet减少垃圾邮件。 了解如何处理您的评论数据.