IDC、友商云数据上云(COS)最佳实践

1.概述

1.1简介

本文从通用的数据上云场景,以及友商云数据迁移场景出发,介绍基于腾讯云对象存储(COS)的上云步骤,包括迁移前的环境准备工作,云上的配置与迁移工具的实施,数据的一致性校验,云上业务的切换与验证。

1.2名词解释

COS:对象存储(Cloud Object Storage,COS)是由腾讯云推出的无目录层次结构、无数据格式限制,可容纳海量数据且支持 HTTP/HTTPS 协议访问的分布式存储服务。腾讯云 COS 的存储桶空间无容量上限,无需分区管理,适用于 CDN 数据分发、数据万象处理或大数据计算与分析的数据湖等多种场景。COS 提供网页端管理界面、多种主流开发语言的 SDK、API 以及命令行和图形化工具,并且兼容 S3 的 API 接口,方便用户直接使用社区工具和插件。

CVM:云服务器(Cloud Virtual Machine,CVM)为您提供安全可靠的弹性计算服务。 只需几分钟,您就可以在云端获取和启用 CVM,用于实现您的计算需求。随着业务需求的变化,您可以实时扩展或缩减计算资源。CVM 支持按实际使用的资源计费,可以为您节约计算成本。使用 CVM 可以极大降低您的软硬件采购成本,简化 IT 运维工作。

MSP:迁移服务平台(Migration Service Platform,MSP)整合了各种迁移工具,并提供统一监控。用户在迁移时可选择腾讯云官方迁移工具,也可选择官方认证的第三方迁移工具。迁移服务平台帮助用户方便快捷的将系统迁移上云,并清晰掌握迁移进度。迁移服务平台 MSP 不收取任何额外费用,您只需为使用的迁移工具及资源付费。

IDC:互联网数据中心(Internet Data Center,简称IDC)是指一种拥有完善的设备(包括高速互联网接入带宽、高性能局域网络、安全可靠的机房环境等)、专业化的管理、完善的应用的服务平台。

友商云:指提供云服务的互联网厂商,包括但不仅限于阿里云,AWS,华为云,七牛云等等。

数据源:顾名思义,数据的来源,是提供某种所需要数据原始文件。

2.业务架构

2.1云下IDC典型业务架构图

任务启动后几分钟可看到agent状态,如下

说明任务执行正常。

步骤6 任务完成

建议非必要情况下,不使用匿名或公共读策略,可能会导致被盗刷等风险。

5.1.3数据冗余能力校验

控制台--存储桶--容错容灾管理

版本控制

版本控制可在误删除或误覆盖的场景下保存历史版本信息,可通过历史版本恢复丢失的对象内容。同时,历史版本会产生一定的存储空间,可使用生命周期自动清理过期的历史版本,以节约成本,同时也保证数据的灾难恢复。

存储桶复制

存储桶复制是一种更为可靠的容灾能力,可通过同步将存储桶数据复制到异地存储桶,在园区级异常的场景下,可通过切换或重试访问异地存储桶,实现服务的可持续性访问。

建议开启。

5.1.4增量差异数据读取功能校验

控制台--存储桶--基础配置--回源设置

该功能可设置为当COS访问404时,可通过获取源站的方式同步/异步拉取到资源到COS,同时返回给客户端,确保“热”数据同步迁移和访问正常。

如下示例,为设置源站xxx.com 的同步回源配置

这样可以确保已迁移到COS上的数据和未复制到COS上的数据同时访问。

5.1.5日志、监控等配套功能校验

控制台--存储桶--日志存储/数据监控

这两个功能用于生成离线数据和实时监控数据,建议开启,方便对于后续的访问日志进行核对。

至此,切换任务完毕,数据全部上云。

本站文章资源均来源自网络,除非特别声明,否则均不代表站方观点,并仅供查阅,不作为任何参考依据!
如有侵权请及时跟我们联系,本站将及时删除!
如遇版权问题,请查看 本站版权声明
THE END
分享
二维码
海报
IDC、友商云数据上云(COS)最佳实践
本文从通用的数据上云场景,以及友商云数据迁移场景出发,介绍基于腾讯云对象存储(COS)的上云步骤,包括迁移前的环境准备工作,云上的配置与迁移工具的实施,数据的一...
<<上一篇
下一篇>>