Chinaunix首页 | 论坛 | 博客
  • 博客访问: 471327
  • 博文数量: 153
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 1575
  • 用 户 组: 普通用户
  • 注册时间: 2016-12-20 17:02
文章分类

全部博文(153)

文章存档

2017年(111)

2016年(42)

我的朋友

分类: 大数据

2017-01-06 16:41:13

想用阿里云大数据计算服务(),对于大多数人首先碰到的问题就是数据如何迁移到MaxCompute中。按照数据迁移场景,大致可以分为批量数据、实时数据、本地文件、日志文件等的迁移,下面我们针对每种场景分别介绍几种常用方案。


一、   异构数据源批量数据迁移到

1、通过- 数据开发做数据同步

                         i.   开通大数据开发套件,进入项目管理-数据源管理中将数据源配置到DataIDE中,并保证连通性。目前MaxCompute支持的数据源如下图:

e60ce9bb20d74028adfb3399665beae45f57264e

MaxCompute产品地址:


                       ii.创建数据同步任务,配置数据映射

31a89625fb1ec6bba67a0f6b492f3599e435e7c2

 

a82a505fb42764a29bbefc5e9b782ed1dede5881

                    iii.保存后提交运行,可以通过执行日志监控执行成功与否。

feb157c187947ff37f70969a9973a4aa085b9099

适用场景:这种方式通过界面向导逐步配置,操作简单容易上手,对于大数据开发套件(DataIDE)已经支持的数据源之间同步数据非常方便,但是要确保数据源连通性,同时对数据同步的速度也有限制,最高10M/s


阅读全文请点击:
阅读(2841) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~