1万属性,100亿数据,每秒10万吞吐,架构如何设计?
发布时间:2019-05-06 18:21:32 所属栏目:优化 来源:58沈剑
导读:有一类业务场景,没有固定的schema存储,却有着海量的数据行数,架构上如何来实现这类业务的存储与检索呢?58最核心的数据帖子的架构实现技术细节,今天和大家聊一聊。 一、背景描述及业务介绍 什么是58最核心的数据? 58是一个信息平台,有很多垂直品类:招
解决了海量异构数据的存储问题,遇到的新问题是:
解决完海量异构数据的存储问题,接下来,要解决的是类目的扩展性问题。 第二:统一类目属性服务 每个业务有多少属性,这些属性是什么含义,值的约束等,耦合到帖子服务里显然是不合理的,那怎么办呢? 抽象出一个统一的类目、属性服务,单独来管理这些信息,而帖子库ext字段里json的key,统一由数字来表示,减少存储空间。 画外音:帖子表只存元信息,不管业务含义。 (编辑:晋中站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |