分析：亚马逊如何通过数据湖解决大数据挑战？

例如，在亚马逊，如果我们预测需求太低，则配送中心的仓库工人可能没有足够的供应或驱动程序不足，这可能导致包裹延迟，更多的客户服务电话，订单被取消以及失去客户信任。如果我们预测过高，您可能会有库存和箱子围着仓库占用宝贵的空间。这种情况意味着对需求量更高的产品的空间较小。

像亚马逊这样的大多数组织都花费大量时间来预测未来。幸运的是，机器学习可以改善预测。去年，亚马逊运营财务团队进行了测试。他们采用了一部分预测，并将传统的手动流程与Amazon Forecast进行了比较。AmazonForecast是一项完全托管的服务，使用机器学习来提供高度准确的预测。在此试运行中，由Forecast所完成的预测平均比通过手动过程完成的预测准确67％。

通过将所有数据移至数据湖，亚马逊的运营财务团队可以结合数据集来训练和部署更准确的模型。使用更相关的数据来训练机器学习模型可以提高预测的准确性。此外，它还释放了手动执行此任务的员工来执行更具战略意义的项目，例如分析预测以推动现场运营的改善。

使用正确的工具：AWS上的Galaxy

亚马逊的零售业务使用某些技术，该技术早于2006年开始创建Amazon Web Services。在过去十年中，为了变得更具可扩展性，效率，性能和安全性，亚马逊零售业务中的许多工作负载已转移到AWS。Galaxy数据湖是内部称为Galaxy的大型大数据平台的重要组成部分。下图显示了Galaxy依赖AWS的某些方式以及它使用的某些AWS服务：

Galaxy数据湖基于Amazon的Simple Storage Service或对象存储服务S3构建。一些数据还存储在基于Amazon专有的基于文件的数据存储中，即Andes和Elastic Data eXchange，它们都是Amazon S3之上的服务层。其他一些数据源是数据仓库 Amazon Redshift ，Amazon Relational Database Service或RDS以及企业应用程序。

AWS Glue 是一项完全托管的ETL服务，可让您轻松准备和加载数据以进行分析，并且使用AWS Database Migration Service或DMS 将各种数据集加载到Amazon S3。Galaxy将来自多种服务（包括Amazon Redshift，Amazon RDS和AWS Glue数据目录）的元数据资产组合到基于Amazon DynamoDB（键值和文档数据库）构建的统一目录层中。Amazon Elasticsearch Service或 ES 用于在目录上启用更快的搜索查询。

在对数据进行分类或装入后，将在客户端层使用各种服务。例如，交互式查询服务Amazon Athena，用于使用标准SQL进行临时探索性查询；Amazon Redshift，一项用于更结构化的查询和报告的服务；和Amazon SageMaker，用于机器学习。

AWS湖形成

亚马逊团队从头开始创建了Galaxy数据湖架构。他们不得不在几个月内手动开发许多组件，这与其他公司过去必须这样做的方式类似。在2019年8月，AWS发布了一项名为AWS Lake Formation的新服务。

它使您可以简化数据湖的创建过程，并在几天（而不是几个月）内构建一个安全的数据湖。Lake Formation帮助您从数据库和对象存储中收集和分类数据，将数据移至新的Amazon S3数据湖中，使用机器学习算法对数据进行清理和分类，以及安全访问敏感数据。

摘要

通过以基于开放标准的数据格式将数据存储在统一的存储库中，数据湖可让您分解孤岛，使用各种分析服务从数据中获取最大的见解，并以经济高效的方式满足存储和数据处理需求随着时间的推移。

对于亚马逊的财务运营团队而言，Galaxy数据湖将为其全球用户提供集成体验。Galaxy的基础设施建于2019年，现在各种数据库系统都在迁移到数据湖中。使用该工具的团队现在已经看到了它的好处，理由是消除了手动流程和笨拙的电子表格，生产率的提高以及可用于增值分析的更多时间。

延伸阅读：

• 亚马逊公司计划在印度投资16亿美元建设两个数据中心
• 阿里巴巴和亚马逊谁更有增长潜力？
• 亚马逊扳回一城：法官叫停美国防部与微软云计算合约

（编辑：威海站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!