赵一八笔记(www.fuwuqidl.com)专业分享阿里云,腾讯云,华为云,金山云云服务器优惠劵
分类: 数据库开发技术
2020-06-24 12:14:32
用户希望将历史数据迁移到OSS上的用户目标存储桶。需要迁移的源数据可能来自某个OSS桶,也可能来自本地或第三方云存储(例如AWS S3,Azure Blob,腾讯云COS,七公牛,百度BOS,云,金山KS3)。等等,HTTP等。
主要方法
在线迁移服务
使用联机迁移服务进行迁移。各种数据源的数据,批量迁移到OSS。迁移期间无需设置迁移环境。您可以在线提交迁移任务并随时监控迁移过程。请参阅在线迁移服务文档。
OssImport
使用Ossimport工具进行迁移。有关各种数据源的历史数据,批量迁移到OSS,请参阅OssImport文档。
镜像回源
适用于客户源站,可将数据无缝迁移到OSS。也就是说,该服务已在其自身或其他云产品上建立的源站上运行,并且需要迁移到OSS,但该服务无法停止。在这种情况下,可以实现图像后向源功能。在Ossimport完成历史数据迁移后,新生成的数据迁移过程请参考镜像反向源并无缝迁移到OSS。
OSS跨区域复制
适用于同一帐户,将数据从OSS Bucket A复制到Bucket B,请参考设置跨区域复制。使用时,请注意设置“同步历史数据”。此外,如果您不想同步Bucket的删除操作,可以将同步策略设置为“write sync”。
闪电立方
适用于离线数据中心的大规模数据迁移,支持TB到PB级别的大规模数据。具体参考官方网站产品介绍闪电立方体。
OSS API或SDK
使用OSS API或SDK编写代码实现,适用于具有强大开发功能的客户,请参阅复制对象,上传零件副本。
场景1:将非OSS上的数据迁移到OSS
在此方案中,目标是OSS上的存储桶,源数据不存储在OSS上,例如本地,HTTP,第三方云存储(例如AWS S3,Azure Blob等)。
每种方法的选择如下:
在线迁移服务
它适用于将各种大小的第三方源数据迁移到OSS。
OssImport
适用于将历史数据批量迁移到OSS,特别适用于大数据量。当数据量很大时,请使用ossimport的分布式版本。
镜像回源
适用于源站新的热门数据在线迁移到OSS,例如您对数据热迁移,特定请求重定向等的需求。
闪电立方
适用于本地数据中心的用户,TB到PB级别的大规模数据
OSS API/SDK复制对象,上传零件副本
适用于功能要求,使用OSS API/SDK编写代码来上传OSS。
场景2:OSS之间的数据迁移
此场景是指将OSS源桶数据迁移到OSS目标桶。迁移的数据源和迁移目标都是OSS存储桶。
每种方法的选择如下:
在线迁移服务
适用于各种规模的数据迁移方案。
说明:不适用于归档类型的文件迁移。
OSS跨区域复制
源桶和目标桶属于同一用户,属于不同的区域。
源存储桶和目标存储桶存储类型不是存档类型:
说明:如果要在迁移源存储桶历史数据后迁移(复制到)目标存储桶,则源存储桶更改(添加,更新,删除)将不再与目标存储桶同步。您可以在控制台中关闭源存储桶的跨区域副本。
OssImport
它更适用于具有大数据量(例如大于10TB)的历史数据迁移方案。
OSS API/SDK复制对象,上传零件副本
建议首先使用ossImport或跨区域复制,除非用户具有更多粒度或功能要求并具有某些开发功能。
其他
如果问题仍未解决,请联系售后技术支持。更多可以赵一八笔记。