登录   注册

AI+ 时代,Zilliz Mega 强势突破数据处理边界

科技长讯 xlch 2周前 (05-10) 25次浏览 0个评论 扫描二维码

2019 年 5 月 8 日 -10 日,第十届中国数据库技术大会 ( DTCC2019 ) 在京隆重召开 ,Zilliz 受邀参加并荣获 ” 年度创新企业奖 “,并发布了业界首个 GPU 加速 AI 数据中台产品—— Mega。创始人兼 CEO 星爵表示,Zilliz 的 AI 数据中台 Mega 使用 GPU 处理器将数据 ETL、数据仓库、模型训练、推理和部署等多个流程进行融合和加速,打破了人工智能和数据处理之间的分界和壁垒,提供 GPU 加速的一站式 AI 数据科学解决方案。Zilliz 团队坚持独立自主研发,在经历了 1096 个日夜的研发攻坚后,终于推出了 Mega 数据中台产品。正是因为 Zilliz 人前瞻的产品格局及创新的技术追求,从众多数据库厂商中脱颖而出,在 “2019 中国数据库技术年度评选 ” 过程中受到了评委会的一致高度认可,被评为 ” 年度创新企业 “。

DTCC 2019 的主题是 ” 数据风云,十年变迁 “,中国数据库十年间,技术领域百舸争流,不乏引路者、追随者与开拓者。Zilliz 自 2016 年成立以来,始终坚信随着 AI 在全球各行业落地的进一步深化和应用数据量的飞速增长,数据 ETL、数据仓库和海量特征向量检索等数据处理流程势必将无限简化易用,所以潜心坚守独立自主研发,从独创国内新一代异构众核加速数据库系统 Mega 到打通人工智能端到端数据中台系统(Mega),可谓 ” 挑灯三年磨一剑,只为一朝试锋芒 “。

图:Zilliz 创始人兼 CEO 在 DTCC2019 大会发表演讲

GPU 加速 AI 数据中台 Mega 于 2019 年上半年正式开放商用,下图是 Mega 系统架构展示。

图:Mega 系统架构图

依托 GPU 的强算力,Mega 实现了将所有资源,包括计算资源和存储资源的统一管理与调度。目前共包含四大核心产品:

MegaETL:GPU 加速 ETL。大量的数据 ETL 耗时巨大,占用了 AI 科学家和工程师太多时间和精力。而大多数数据提取和转换过程本质上却是可以通过并行处理进行加速的。MegaETL 依托 GPU 强大的并行运算能力,加速数据转换和清洗的过程,能将数据 ETL 处理的时间减少 50~60 倍。

MegaWise:GPU 加速数据分析引擎。MegaWise 是基于 GPU 硬件加速的新一代 OLAP 处理引擎,突破了数据分析中计算能力和存储带宽两大瓶颈,和主流 CPU 数据处理引擎相比,查询性能提升 100 倍以上,硬件成本和运维成本降低 10 倍。

MegaLearning:大数据资产 AI 赋能。在过去的十年间,很多企业都构建了大数据系统,在其上积累和存储了大量的数据资产。MegaLearning 帮助用户直接在已有的大数据系统(如 Hive 和 Impala 等)之上进行机器学习和深度学习的训练,打通底层数据资产、大数据系统和 AI 训练系统之间的隔阂。MegaLearning 自动为 AI 科学家解决数据预处理、数据缓存和调度等任务,使得他们能用直接、便易的方式将 AI 训练和推理任务构建在现有的大数据系统之上,让 AI 科学家专注于 AI 建模、调优和调参,能帮助他们节省 8 成以上的程序开发工作量。

MegaSearch:GPU 加速海量特征向量匹配和检索引擎。特征向量是深度学习对数据仓库和数据分析领域提出的全新数据类型,是现代图片分析、视频分析、NLP 和语音分析等的基石。在实际部署中,海量特征向量匹配和检索的速度及准确度往往是决定 AI 模型落地效果和可用性的关键。MegaSearch 依托 GPU 加速,提供极速特征向量匹配以及多维度数据联合查询(特征、标签、图片、视频、文本和语音等联合查询)功能,并且支持自动分表分库和多副本,能完美对接 TensorFlow、Pytorch 和 MXNet 等 AI 模型,可实现百亿特征向量的秒级查询。

伴随着 AI、IoT、5G 的大规模应用,我们将迎来更复杂多样的业务需求。Zilliz 将始终专注打磨出更完备的 GPU 加速 AI 数据中台,服务不断增长的用户需求。


绚丽彩虹 , 版权所有丨如未注明 , 均为原创丨未经允许,禁止转载
喜欢 (0)
[pay3@xlch8.cn]
分享 (0)

您必须 登录 才能发表评论!

二小姐の地下室

下载手机APP,及时获取最新消息,享受清爽阅读体验!

APP