13518219792
同步业务库的数据到ODS层，之前一直是全量同步数据，主要考虑IO太大，耗时太长，重复拉取同样的数据，现在考虑增量同步的方式实现，同时对库表数据做分区。
在宝山等地区，都构建了全面的区域性战略布局，加强发展的系统性、市场前瞻性、产品创新能力，以专注、极致的服务理念，为客户提供成都做网站、成都网站制作 网站设计制作定制制作,公司网站建设,企业网站建设,高端网站设计,成都全网营销,外贸网站制作,宝山网站建设费用合理。
增量同步主要分为两步，第一步，存量数据一次性同步；第二步，在存量数据的基础之上，做增量；后期的每一次同步都是增量同步。以下是具体同步方案：
用Sqoop同步表中全部数据到Hive表中；
a．根据hive中最大更新时间，用Sqoop提取更新时间为这个时间之后的增量数据；
1）获取表的所有列，把datetime和timestamp类型，统一在java中映射成TIMESTAMP类型，脚本如下：
2） 用sqoop import拉取数据，脚本如下：
1）创建增量同步的sqoop job，脚本如下：
a、从hive中获取表的最大更新时间
b、以上面获取的最大更新时间，作为起点，创建sqoop job，脚本如下：
c、创建sqoop job之后，就是执行job了，脚本如下：
具体参数详解，参考：
增量同步和全量同步是数据库同步的两种方式。全量同步是一次性同步全部数据，增量同步则只同步两个数据库不同的部分。
以下答案来源于Navicat中文网站，海淘专业正版软件选择麦软
1、打开Navicat for MySQL ，找到工具，结构同步
2、选择目标数据库和源数据库，此时下面就会生成一系列结构同步SQL，可惜不能直接复制，于是我们进行第三步
3、右键 全部校验
4、第三步完成后，右键 已校验命令即可看到可复制的结构同步SQL
