Sqoop同步策略

    科技2022-08-16  123

    Sqoop同步策略

    全量同步策略: 每日全量,就是每天存储一份完整的数据,作为一个分区 适用于表数据量不大,且每天既会有新数据插入,也会有旧数据修改的场景 针对小公司,数据量少

    增量同步策略: 每日增量,就是每天存储一份增量数据,做为一个分区

    新增及变化策略: 每日新增及变化,就是存储创建时间和操作时间都是今天的数据

    比如说:数据发生变化,16号的数据修改了14号的数据.比如订单表,把14号的数据发生变化,就把数据倒过来覆盖.

    特殊策略

    Processed: 0.008, SQL: 9