知识库

awss3存储数据迁移工具有哪些?
2023-10-11 16:39:03
阅读()
来源:互联数据
摘要:     对于企业而言,数据上云“常态化”的趋势,无疑是一个巨大的技术红利。而数据规模爆发式增长的今天,移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是,在对象存储方面,大部分供应商都会为企业提供

awss3存储数据迁移工具有哪些?对于企业而言,数据上云“常态化”的趋势,无疑是一个巨大的技术红利。而数据规模爆发式增长的今天,移动和访问云端数据却成为困扰企业的一大难题。不过幸运的是,在对象存储方面,大部分供应商都会为企业提供一系列现成的优质工具以及用于移动和访问数据的选项。


awss3存储数据迁移服务http://www.hkt4.com/zt/2023-05-06/


一、AWS云数据迁移的常见挑战


大部分项目都面临数据传输的严酷现状。如何在最大限度减少中断、成本和所用时间的情况下,轻松地从当前位置移至新的云环境? 要移动 GB、TB 或 PB 量级的数据,最明智的方法是什么?


潜在的根本问题是:可以迁移多少数据?迁移速度和迁移距离是多少? 使用以下公式可得出最理想情况下的结果:


天数 =(总字节数)/(每秒兆位数 * 125 * 1000 * 网络使用率 * 60 秒钟 * 60 分钟 * 24 小时)

awss3存储数据迁移工具

例如,如果您要使用 T1 连接 (1.544Mbps) 将 1TB(1024 * 1024 * 1024 * 1024 字节)数据移入或移出 AWS,那么从理论上讲,通过您的网络连接(80% 网络使用率)加载该数据所需的时间为至少 82 天。


别紧张,我们对此驾轻就熟。我们发现客户通常会采用两种方法完成这一过程:使用非常基础的非托管迁移工具来迁移数据,或者选择上面提到的一种 AWS 服务套件。一般而言,为了获得最佳结果,我们建议采用以下方法:


连接 数据规模 方式


小于 10Mbps小于 500GB非托管

大于 10Mbps大于 500GB托管服务


但如果企业的数据集非常大,访问时间紧要求快,或者源和目标之间的地理距离太远,将数据移到云中时,您需要了解针对不同使用案例的数据移动位置、所移动数据的类型以及可用的网络资源等因素。AWS 提供各种服务和合作伙伴工具来帮助您迁移数据集,无论数据集是文件、数据库、系统映像、块卷还是磁带备份。


二、AWS 云数据迁移工具


AWS 提供数据传输服务组合,从而为任何数据迁移项目提供适当解决方案。连接水平是数据迁移的重大影响因素,AWS 提供可解决您的混合云存储、在线数据传输和离线数据传输需求的产品。


这些服务使您能够通过在线方式简单、轻松地在 AWS 中传入和传出数据。


1、AWS DataSync:一种数据传输服务,使您能够轻松在本地存储和 Amazon S3、Amazon Elastic File System (Amazon EFS) 或 Amazon FSx for Windows File Server 之间自动迁移数据。DataSync 会自动处理可能会降低迁移速度或增加 IT 操作负担的许多数据传输相关任务,包括运行您自己的实例、处理加密、管理脚本、网络优化和数据完整性验证等。


您可以使用 AWS DataSync 传输数据,速度最高可比开源工具快 10 倍之多。您可以使用 DataSync 将数据通过 AWS Direct Connect 或互联网链路复制到 AWS,满足一次性数据迁移、经常性数据处理工作流的要求,以及进行自动化复制以满足数据保护和恢复要求。


2、AWS Transfer 系列:提供完全托管支持,可将文件直接传入和传出 Amazon S3。AWS Transfer 系列使用安全文件传输协议 (SFTP)、SSL 的文件传输协议 (FTPS) 和文件传输协议 (FTP),可通过集成现有身份验证系统并提供与 Amazon Route 53 的 DNS 路由,帮助您将文件传输工作流程无缝迁移到 AWS,而对于客户和合作伙伴及其应用而言则没有任何变化。 通过 Amazon S3 中的数据,您可以配合 AWS 服务完成数据处理、分析、机器学习和存档。AWS Transfer 系列部署非常简单,无需购买和设置任何基础设施。

awss3存储数据迁移工具

3、Amazon S3 Transfer Acceleration:加快了通过公共 Internet 向 Amazon S3 传输数据的速度。不管距离多远或 Internet 状况如何,您都可以最大限度地利用带宽,并且无需提供特殊的客户端或专有网络协议。您只需更改与 S3 存储桶搭配使用的终端节点,即可自动实现加速。


这非常适用于在全球各地处理的重复任务(例如,媒体上传、备份以及定期发送到中央位置的本地数据处理任务)。


4、AWS Snowcone:是 AWS Snow 系列边缘计算和数据传输设备中尺寸最小的成员。Snowcone 便携、耐用且安全。您可以使用 Snowcone 收集、处理数据,并通过 AWS DataSync 将数据在线移动到 AWS。在断开连接的环境中和连接的边缘站点中运行应用程序可能很有挑战性,因为这些位置经常缺少数据中心 IT 设备所需的空间、电力和冷却装置。


AWS Snowcone 将数据安全地存储在边缘站点,可以运行使用 AWS IoT Greengrass 或 Amazon EC2 实例的边缘计算工作负载。Snowcone 设备非常小巧,仅重 4.5 lb(2.1 kg),因此您可以在背包中携带一台,或在 IoT、车载甚至是无人机使用案例中将其安装到狭小空间内。


5、Amazon Kinesis Data Firehose:是将流数据加载到 AWS 的最简单方式。它可以捕获流数据并将其自动加载到 Amazon S3 和 Amazon Redshift,借助当前正在使用的现有商业智能工具和控制面板实现近乎实时的分析。这是一项完全托管的服务,可以自动扩展以匹配数据吞吐量,并且无需持续管理。


它还可以在加载数据前对其进行批处理、压缩和加密,从而最大程度地减少目的地使用的存储量,同时提高安全性。您可以从 AWS 管理控制台轻松创建 Firehose 传输流、通过点击几下对其进行配置,以及开始将数据从成千上万个要不断加载到 AWS 的数据源发送到数据流中 – 所有这些操作只需几分钟即可完成。


二、互联数据亚马逊APN 合作伙伴产品


AWS 已经就缩小传统备份和云之间差距的物理网关设备与很多行业供应商开展了合作。将现有的本地数据链接至 Amazon 的云,可以在不影响性能且不保存现有备份目录的情况下迁移数据。


无缝集成至现有基础设施

可提供重复数据删除、压缩、加密或 WAN 加速功能

在本地缓存最近的备份,通过文件库将所有数据移至 AWS 云


通过多台客户端与多台服务器同时进行AWS云数据迁移,多台客户端挂载相同的存储(本地存储或对象存储,例如AWS S3),即通过相同的路径,在不同的客户端上都能访问到相同的文件;其次,多台服务端挂载相同的存储(本地存储或对象存储),即通过相同的路径,在不同的服务端上都能访问到相同的文件;配置完成后,在客户端的控制页面创建、管理任务;


最后,客户端进行AWS云数据迁移,可以将一个大的传输任务拆分成以文件为单位的小任务,通过网络将任务信息下发到所有客户端传输节点上,由各节点同时进行传输,加快传输效率。各节点返回各自的传输状态信息,在控制页面就可以进行查看和管理。


0

上一篇:服务器租用业务是选择单CPU还是双CPU服务器?
下一篇:怎么在亚马逊ec2服务器上配置域名?
HKT4为您的网站提供全球IDC资源
立即免费测试