JZTXT

kafka业务数据到ODS层处理小记

发布时间 2023-04-21 09:41:06作者: 青涩大叔

kafka业务数据到ODS层处理小记

1：kafka消息partition分区，应以表主键为key

2：kafka消息落地后，同一批次数据中取主键+offset最大的一条，再删除基础数据中此批次数据，最后将此批次数据按数据处理类型（delete、insert、update），先insert、update，再delete。