数据整合
最近更新时间: 2019-10-28 03:06:07
结合多年数据处理行业经验，沉淀固化通用数据整合模型，将贴源数据的处理过程从繁复的代码逻辑中解放，仅需简单配置既可完成复杂贴源数据整合。同时数据整合在应用时不同算法对于源表和目标表有一定的配置要求，一般来说目标表比源表需要新增特定字段，具体新增字段如下。除了新增字段外其他字段需完全保持一致。
| 数据整合 | ||
|---|---|---|
| 全量切片 | 业务日期字段 | ty_data_date |
| 批次号字段 | ty_batch_number | |
| 来源标识 | ty_src_flag | |
| 运行job字段 | ty_job_name | |
| 增量切片 | 业务日期字段 | ty_data_date |
| 批次号字段 | ty_batch_numbe | |
| 删除标识 | ty_del_flag | |
| 删除日期 | ty_del_date | |
| 删除批次 | ty_del_batch | |
| 运行job字段 | ty_job_name | |
| 拉链表 | 开始业务日期 | ty_start_date |
| 开始批次号 | ty_start_batch | |
| 结束业务日期 | ty_end_date | |
| 结束批次号 | ty_end_batch | |
| 删除标识 | ty_del_flag | |
| 运行job字段 | ty_job_name | |
| 当前表 | 业务日期字段 | ty_data_date |
| 批次号字段 | ty_batch_number | |
| 运行job字段 | ty_job_name | |
| 删除标识 | ty_del_flag | |
| 删除日期字段 | ty_del_date | |
| 删除批次字段 | ty_del_batch | |
| 首次加载日期 | ty_rec_init_date | |
| 当前全量表 | 业务日期字段 | ty_data_date |
| 批次号字段 | ty_batch_number | |
| 运行job字段 | ty_job_name | |
| 删除标识 | ty_del_flag | |
| 删除日期字段 | ty_del_date | |
| 删除批次字段 | ty_del_batch | |
| 首次加载日期 | ty_rec_init_date | |