腾讯云挖的这“湖”有点区别
发布时间：2021-10-07 13:46:20 所属栏目：云计算 来源：互联网
导读：近日，腾讯云首次对外展示了云原生智能数据湖产品图谱，并推出两款开箱即用数据湖产品，分别是数据湖计算服务DLC和数据湖构建DLF。 数据湖并不是个新概念，早在2010年就被提出，最近2年开始变热。 为什么热？据知名咨询机构统计，到2025年全球数据总量将超过
|
近日，腾讯云首次对外展示了云原生智能数据湖产品图谱，并推出两款“开箱即用”数据湖产品，分别是数据湖计算服务DLC和数据湖构建DLF。
数据湖并不是个新概念，早在2010年就被提出，最近2年开始变“热”。
为什么“热”？据知名咨询机构统计，到2025年全球数据总量将超过160ZB，全球数据总量的近20%将成为影响日常生活的关键数据，近10%将变为超关键数据。
在这样的大背景下，现有数据架构已然无法满足企业需求，企业迫切需要可以利用多个数据源、使用不同的大数据分析技术，快速构建灵活友好的数据架构，解决多元化分析场景的数据需求。所以，数据湖“热”了。
目前，业界已经涌现了不少数据湖产品及解决方案。因此，腾讯云发布数据湖产品并不让人意外。
但腾讯云数据湖产品也有一点不同，为什么这么说，我们来简单聊聊。
数据湖赋能AI
对数据湖，云厂商定义各不相同，但有一点是没有争议的，那就是可以存储各种数据，包含结构化、半结构化和非结构化数据。
但数据存入后怎么用?一直以来，其实并不是特别清晰。数据湖可以做什么？到底能帮企业解决什么问题。这次发布会，腾讯云给出了自己的答案。
发布会上，腾讯云AI应用产品中心总经理王磊分享了数据湖是如何助力腾讯云AI的。实际上，腾讯云AI既是数据湖产品的内部客户之一，也是腾讯云数据湖产品矩阵的一员。
王磊表示，AI非常依赖于基础数据设施，缺乏精心的数据准备和维护是企业实施AI的障碍。从数据的收集、标注、存储、管理再到数据的使用和消费、模型的训练和推理服务，这些过程都需要很好的底层数据基础设施进行支撑。
此前，腾讯云AI一直在寻找各种最佳实践，而现在，腾讯云数据湖提供了一个新的实践方案。
除此之外，王磊还分享了数据湖结合AI的几个实践案例。其中之一抗疫场景，微信健康码，目前已经服务超过10亿人次，被调用260亿次。
在保障内容安全智能审核方面，腾讯云AI已经服务超过5万+客户，让客户审核效率提升超过20倍，业务健康程度达到99.89%
完整产品图谱
从产品图谱看，腾讯云数据湖产品家族包含六个层面，分别是数据湖存储、数据湖算力调度、数据湖大数据分析、数据湖AI能力、以及数据湖应用和云上基础服务。
其中，数据湖存储是以对象存储COS为核心，理论上可以存储任意规模的异构数据。数据湖算力调度以弹性容器服务EKS为核心，可以理解为一个Service K8s。与标准K8s不同，EKS是轻量级虚拟机构建的一个产品，架构经历了三次重构。在腾讯云几百万台物理机上都有部署EKS相关套件。理论上“无限”的计算资源随时可供秒级调度，满足不同规模的计算任务，使用者再也不用关心底层资源的部署和运维。
在数据湖分析方面，腾讯云既提供半托管的泛Hadoop服务，也提供全托管的服务。
在数据湖AI方面，腾讯云数据湖包含丰富的AI服务， 为图像处理、音频处理、自然语言处理、视频处理等提供有力的数据支撑。在数据应用服务中，腾讯云推出基于数据湖的数据应用服务，比如企业画像、联邦计算、商业智能分析等。
值得一提的是，在应用方面，腾讯云正在积极推动数据湖在政务、工业、零售等领域的大规模落地。据了解，腾讯云数据湖最早在内部开始孵化，支持腾讯新闻等应用。目前其数据湖体系已服务众多内外部客户，其整体算力弹性资源池已达500万核，存储数据超过100PB，每日分析任务数达1500万，每日实时计算次数超过万亿，能支持上亿维度的数据训练。
腾讯云大数据产品中心副总经理雷小平表示，这六大层面基本涵盖了客户的诸多需求，此外，腾讯云还在不断的研发更多的数据湖产品，以完善云原生智能数据湖矩阵。
“开箱即用”：DLC和DLF
除了数据湖体系产品图谱外，为了让企业可以快速构建和分析数据湖，腾讯云此次还正式推出两款开箱即用的数据湖产品：数据湖计算服务（Data Lake Compute，简称DLC）和数据湖构建（Data Lake Formation ，简称DLF）。
从产品定位上看，DLF建湖，DLC分析
DLF，能帮助用户快速构建企业数据湖，以及在各种数据之间同步和处理数据，为高性能分析数据计算做数据准备。
数据入湖后做分析，腾讯云提供了DLC，支持对多源异构数据进行联合查询分析，包括对象存储、云数据库、大数据服务等。用户通过统一的数据视图，使用标准的 SQL 即可实现多源数据联合查询分析。无需依赖数据工程团队进行传统数据分层建模的 ETL 操作，也无需加载数据。
雷小平表示，基于这两款数据湖产品，相比于本地自建大数据集群，数据湖构建时间减少了60%，数据分析计算性能提升35.5%，云端数据湖架构投入使用后可使存算数据量增长75%，配合其他大数据服务，在业务峰值期可以节约30%的硬件资源，以及一半的大数据工程师和运维工程师。
如果你的企业正在为构建数据湖和分析提炼数据价值而发愁，不妨试一试腾讯云数据湖的产品，或者能为您公司的数据存储和分析带来便利性。
目前，腾讯云推出的数据湖产品只支持公有云部署，但据雷小平透露，未来也会支持混合云或专有云部署。
 （编辑：威海站长网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
