分享：一个快速且安全将数据上传到AWS S3的方法

wangyp1230 2014-05-27 09:46:44

Secure Cloud Data Migrator是一个免费的工具，它能够有效且安全地将文件或Mysql数据从on-premises DC移植到亚马逊 S3 或者RDS（Mysql）。目前，批量的数据从on-premises DC 移植到亚马逊 S3主要依赖于AWS的导入/导出服务，并发送电子邮件到便携式的存储设备。这对用户来说并不是一个有效且便捷的方法。这个工具由TrendMicro CDC 研究小组开发，为将结构化的和非结构化的数据移植到AWS仓库提供了一个安全有效的方法。目前，这个软件支持AWS S3和RDS（Mysql）。
这个解决方案极大的改进了WAN的网络使用率，使得在线数据传送的性能能够被用户接受。同时，在TCP基础协议下，它也能够公平且友好运行。
我们希望从用户中得到反馈，以改进这个免费的工具。但是，用户仍然需要接受TrendMicro免费工具的许可证，并且同意客户端软件的安装。在我们的实验中，TrendMicro 从美国哥伦比亚地区上传文件到美国东部的AWS (RTT ~=87ms) 比S3控制台的上传方案的性能要好20X。事实上，在这个内部测试之前，我们从欧盟西部的AWS上传文件到美国东部的AWS，也得到了相似的结果。
如果你对这个工具感兴趣，请参考《用户手册》来开始使用这个工具。目前这个工具可以免费使用，而且在用户手册文档中已经对该工具进行了更多的介绍，包括工具的理念、安装和故障排除。
请参考下列AMI ID来启动你的工具：
US_East_SCDM_Evaluation: ami-f658a39f
US_West_SCDM_Evaluation:ami-c5de8c80
https://forums.aws.amazon.com/thread.jspa?threadID=71874&tstart=50

...全文

3550 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

cloudtool 2016-07-26

打赏
举报

回复

是www.cloudtool.club

cloudtool 2016-07-26

打赏
举报

回复

使用cloudtool，可快速的将文件上传到aws s3上，速度保证2M以上，正常情况下可达到20Mb以上按使用收费，详情关注www.cloudtool.com

S3流上传通过该库，您可以将大量数据有效地流式传输到Java中的AWS S3，而不必将整个对象存储在内存中或使用文件。 S3 API要求在开始上传之前设置内容长度，这在您要动态计算大量数据时会出现问题。标准Java AWS开发工具包将简单地将所有数据缓冲在内存中，以便可以计算长度，这会消耗RAM并延迟上载。您可以将数据写入临时文件，但是磁盘IO速度很慢（如果数据已经在文件中，则使用此库是没有意义的）。该库提供了一个OutputStream ，它将写入其中的数据打包为大块，然后以分段上传的形式发送。您还可以使用多个流并并行上传数据。入口点是类StreamTransferManager 。阅读更多内容，包括用法示例。这可以从。变更日志 2.2.2 由于@ dana-katzenelson-livongo， 2.2.1 上载期间的异常会导致编写器中发生异常，而不是试图将

aws-s3-rds 用于将数据上传到 Amazon AWS S3 和 Amazon AWS RDS (MySQL) 实例并测量性能的 Java 程序。 AWS S3 的 ###Steps：创建了一个 AWS 账户并注册了其免费套餐。下载 PCI 和大学数据。创建了一个名为cse6331-bucket的 AWS S3 存储cse6331-bucket 。为 S3 创建了ACCESS_KEY_ID和SECRET_ACCESS_KEY 。使用 S3Uploader 类，上传放置在data/目录中的两个文件。 AWS RDS MySQL 的###Steps：使用默认配置 ( cse6331.caf32xdtw87o.us-west-2.rds.amazonaws.com:3306/cse6331_db ) 创建了一个 AWS RDS MySQL 实例。使用本地

加密的S3备份在Linux上通过Internet进行加密的安全远程备份。数据存储在。动机该备份系统将控制权掌握在您手中。此外，备份脚本非常小，您可以轻松对其进行审核。您可以查看此以获取有关预计的S3成本和性能的更多信息。加密值得一提的是，数据已安全地传输到S3（其他人看不到），但服务器端已通过S3进行了加密（因此AWS S3暂时看到您的数据未加密）。这意味着您必须信任Amazon S3及其用于进行的机制。他们声称，我相信他们：当您上传对象时，Amazon S3使用您提供的加密密钥对数据进行AES-256加密，并从内存中删除该加密密钥。 Amazon S3不存储您提供的加密密钥。取而代之的是，我们存储加密密钥的随机添加盐分的HMAC值，以验证将来的请求。盐化的HMAC值不能用于导出加密密钥的值或解密加密对象的内容。这意味着，如果丢失了加密密钥，则会丢失对象。

AWS S3文件上传调度程序

AWS（GOFAKE）S3 AWS S3伪造服务器和测试库，用于广泛的S3测试集成。通过运行测试服务器（例如，用于测试访问S3的AWS Lambda函数）来实现。或者，拥有一个简单且方便的S3模拟和测试服务器。用它做什么用？我们将其用于S3依赖Lambda函数的本地开发，测试AWS S3 golang的实现和访问，以及测试基于浏览器的直接上载到本地的S3。什么不使用它？请不要将gofakes3用作生产服务。 gofakes3的预期用例目前正在促进测试。目前，它并不打算用于安全，持久地访问生产数据。没有理由我们不能在以后将其设置为扩展目标，但是这还有很长的路要走，尤其是在我们还有很多API可以实现的时候。突破性的变化是不可避免的。同时，还有更多针对生产工作负载的经过严格处理的解决方案，其中一些在下面的“类似的著名项目”部分中列出。如何使用它？例子 // fa

409

社区成员

536

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章