分类: 大数据
2017-01-06 16:41:13
想用阿里云大数据计算服务(),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。
一、 异构数据源批量数据迁移到
1、通过- 数据开发做数据同步
i. 开通大数据开发套件,进入项目管理-数据源管理中将数据源配置到DataIDE中,并保证连通性。目前MaxCompute支持的数据源如下图:
MaxCompute产品地址:
ii.创建数据同步任务,配置数据映射
iii.保存后提交运行,可以通过执行日志监控执行成功与否。
适用场景:这种方式通过界面向导逐步配置,操作简单容易上手,对于大数据开发套件(DataIDE)已经支持的数据源之间同步数据非常方便,但是要确保数据源连通性,同时对数据同步的速度也有限制,最高10M/s。