增量|如何从0-1搭建ETL?( 三 )
对于一个ETL任务流,一般会在数据抽取时进行增量操作,将增量抽取的数据清洗之后再统一加载到目标表中。
文章插图
三、如何使用ETL业务场景:抽取商品销售订单数据表,商品数据表,计算出每日的销售订单总金额并入库。
第一步:制作ETL任务流程,抽取商品销售订单数据,商品数据表,通过商品ID关联成一张表。
文章插图
第二步:计算每日销售订单总金额。增加一个订单总金额字段,并添加计算公式订单总金额=订单金额*数量。
文章插图
第三步:设置调度任务,定时执行ETL任务。选择运行频次“天”,设定任务在哪一段时间内执行,也可以指定几个不在这段时间内的单个时间执行任务。
文章插图
四、写在结尾本文只是教大家如何搭建一个ETL产品的基础功能,搭建出来的产品要能真正的上线使用起来,除了需要考虑到:产品运作流程要使用的方案,是ETL还是ELT?如果要与BI产品共同使用,如何与其交互?
还需要认真思考一下,我们到底需要什么样的ETL?只是想做数据采集,支撑数据仓库的建设,还是作为一个数据交换平台,赋予其更多的应用场景。
这些大家在设计产品的时候都要考虑清楚,和相关开发团队以及领导多讨论沟通,有疑问的地方欢迎留言。
本文由 @金豌豆 原创发布于人人都是产品经理,未经许可,禁止转载
【 增量|如何从0-1搭建ETL?】题图来自Pexels,基于 CC0 协议
推荐阅读
- 收购|外媒消息:腾讯将以数十亿元人民币从小米手中收购黑鲨
- 德国|谷歌拟从搜索结果中删除新闻服务 向德国反垄断机构妥协
- 周边|晚了!这些冬奥周边已被抢断货,还能如何下手?
- 电商|马云曾用224亿收购的大润发,4年多过去了,大润发如今发展如何?
- 记忆点|如何通过“心智塑造”轻松赢得用户
- 以旧换新|从创新产品到升级服务 京东电器年货节以“后背”担当谱写守护篇章
- 广告|社交电商如何升级广告电商,打造一个消费省钱、免费消费、赚钱消费的一个平台。
- 从业者|这行成为“香饽饽”?“懒人经济”时代来临,大批从业者月入万元
- 反常识|给营销、品牌、市场从业者的4条反常识建议
- 奥林匹克|太火爆!这些冬奥周边已被抢断货,还能如何下手?