随身听第40期： 对话LDBC董事会成员乌博士，企业如何正确合规使用LDBC基准测试
随身听第40期： 对话LDBC董事会成员乌博士，企业如何正确合规使用LDBC基准测试
您可以点击下方Podcast、喜马拉雅或微信合集链接收听本期随身听：
近期LDBC宣布TigerGraph成为第一个成功通过 LDBC SNB 商业智能工作负载测试的企业。但国内LDBC被滥用严重，很多国内厂商不顾LDBC的要求，在市场上宣传了很多不实信息，误导国内受众。本期播客通过和专家对话详细解读 LDBC 基准测试。

主持人：

欢迎大家来到本期的TigerGraph随身听，相信接触过图数据库的朋友一定或多或少地听说过LDBC，但要说LDBC的主要工作，还有其基准测试的作用和意义，还是有很多人可能不是很清楚。近期LDBC宣布TigerGraph成为第一个成功通过 LDBC SNB 商业智能基准测试的企业。而这对于TigerGraph或者说对于图领域意味着什么呢？我们今天就请到了TigerGraph 高级工程副总裁乌明希博士。乌博士是LDBC组织早期的委员，今天我们就请他为我们来详细解读和LDBC有关的内容。您好，乌博士，先跟我们的听众打个招呼吧。

乌博士：

你好，主持人。TigerGraph随身听的朋友们，大家好。我是乌明希，现在负责TigerGraph工程团队，包括产品研发和发布，还有全球的售后技术支持。现在也作为TigerGraph的代表，参与LDBC董事会工作，主要职责是负责正确合规使用基准测试的领头人，和对LDBC 品牌的保护。同时，我也是TigerGraph在ISO国际标准GQL的主要成员。

主持人：

欢迎乌博士参与我们这次直播，首先想请您简单介绍下LDBC，很多朋友可能还是不太了解，作为LDBC组织的早期的委员，主要的工作是什么？

乌博士：

LDBC 基准测试理事会是个非营利组织，有近十年的历史。 由著名的教授Peter Boncz 领头 （他是做vectorized database 的先驱）。主要是通过制定围绕图数据处理的基准测试来促进图数据库的发展。这个社区不断在壮大。 有Oracle, Neo4j, TigerGraph 等工业届知名企业参加和贡献。 还有学术界的图数据教授和全球的科学家参与。 近几年国内一些图数据库的初创公司也加入贡献。LDBC 的工作范畴：
  • 参与制定图数据库语言和模型的标准。
  • 领导社区制定一系列图数据处理的基准测试。任何厂商都可以参与实现它发布的测试，但有严格的审核标准。
  • 还会定期举办国际会议, 讨论最前沿的图数据处理方法。
TigerGraph 作为图数据库的领头羊，早在2018年就加入了LDBC，通过资金和人员帮助这个组织，实现它的使命。

TigerGraph是LDBC董事会会员之一，我作为代表参与其中的工作，主要职责是负责正确合规使用基准测试的领头人。LDBC如果被个别企业滥用，误导客户， 会负面影响它的发展。我的小组负责调查和究责这些滥用LDBC 品牌来达到短期商业目的的公司进行法律究责。只有这个基准测试被正确使用，这个组织的使命才能正向迅速高效的发展。

主持人：

看来LDBC是一个由学术界和工业界一起来群策群力制定图数据库的基准测试的组织，您能给我们的听众科普一下基准测试的作用和意义么？

乌博士：

这个问题很好。首先，为什么要做基准测试？

当IT专业人员计划购买一种技术产品时，他们需要评估多个相互竞争的产品并回答这个问题——哪一种产品最符合我的需求?

基准测试基于多个维度来定义良好的客观标准。它可以用来评估市场上的产品。它允许人们定量地比较不同的技术，从而为他们的软件购买做出更客观的选择。

一个设计良好的图数据库基准可以从以下几个角度对不同的图数据库进行360度的定量比较。
  1. 性能。任何数据库管理系统最基本的KPI都是性能。回答基准测试查询的速度有多快？你的的吞吐量是多少？就是一秒钟能回答多少基准测试的查询；
  2. 延展性（scalability)。另一个关键指标是延展性。技术决策需要考虑未来的增长。用户往往关心数据库的大小限制是多少? 它能处理1TB, 10TB, 100TB, 1PB等等吗？数据库在多大的规模上不再表现良好？这是一个很重要的问题，因为架构限制不可能在几天或几个月内得到解决。这需要几年的时间！一旦架构定好了，延展性基准测试就可以看出它的好坏。
  3. 存储压缩比。这与TCO(总拥有成本)有关。图数据库供应商面临的一个关键技术障碍是如何在磁盘和内存上紧凑地表示图。给定相同的原始数据，图存储越小，内存中可以容纳的数据就越多。因此，存储访问延迟越低，硬件成本也就越低。

  4. 查询语言表达性    。设计良好的图数据库基准可以揭示图数据库语言的表达性限制。这是评估图数据库的一个独特维度，因为图数据库可以回答其他数据库查询语言无法回答的高度复杂的查询。我建议数据库买家购买一个能完整实现基准测试的数据库。这是最起码的成熟度保证。市面上大部分图数据库无法做到这个基准达标线。我知道的只有neo4j 和TigerGraph 能完全实现LDBC SNB BI queries. 大部分新的创业公司还在完善中，据我所知，能够实现短查询或者较简单的小查询。还有现在正在研发中的financial benchmark，都非常好的代表数据库的查询。
  5. 可更新性。可更新性要求数据库可以同时处理更新和只读查询。可更新数据库在现实场景中非常受欢迎，因为它允许对实时数据运行查询。

主持人：

既然基准测试这么重要，那什么是LDBC-SNB基准？为何使用LDBC-SNB标准对图数据库进行基准测试？您能给我们的观众做一下专业的解读吗？

乌博士：

这得从我领导基准测试的时候说起。我也是摸着石头过河。 五年前，当我开始领导TigerGraph的基准测试工作时，我使用了简单但严格的方法：选择一个关系丰富的真实数据集，固定硬件环境，选择最常用的图查询(k-hop，pageRank 和社区发现算法等)，执行交叉验证，然后在不同的数据规模下进行性能测试。这种方法提供了最基础的性能指标，许多其他图数据库供应商也采用了我们的方法，据我所知，这是业界第一个。然而，由于当时的时间和资源限制，它并不全面。它不能系统地发现和量化图数据库的弱点。我放弃这个简单方法的关键原因是，它与现实世界图数据库用户的使用模式相去甚远。但我的这个方法也被业界效仿。很多初创公司特别喜欢用k-hop。还写大篇文章来跟其他数据库比较。或指出别人k-hop有错误。我想， 这是一个学习的过程。往往刚开始做图数据库的厂商并不知道他们自己的盲区。 其实图数据库的门槛还是很高的。如果k-hop都不理解的话，几乎无法在这个领域走的远。TigerGraph 和Neo4j 是比较成熟的领跑者。如果新的创业公司想做交叉验证，最好以他们为标准。如果你的查询结果不一样，很可能是你的系统有问题或者是语义解释不一样，总之还是要抱着谦虚学习的态度去搞清楚再发表言论。要不然误导用户，浪费大家时间，阻碍图数据库市场发展。我就不点名了。在早期发展时，无知者无罪。

后来，我在一个国际数据库会议sigmod 上碰到了LDBC的 Peter Boncz 教授, 他向我介绍了LDBC-SNB基准之后，我在随后的基准测试中采用了它。为什么?
  1. 真实的数据特征。与其他数据集不同，这个LDBC-SNB基准数据集模拟现实生活中的社交论坛场景。这个测试包含了11种顶点类型和15种边类型。它模拟了真实社交网络(如Facebook)中的数据和边分布。顶点和边具有属性，这些属性使用来自DBpedia的真实数据，以确保属性值是真实的和关联的。
  2. 涵盖不同阻塞点的代表性图查询。非常全面。阻塞点是基准测试基础上的代表性技术瓶颈，解决这些瓶颈将显著提高产品的性能。LDBC-SNB 这个测试有三个查询集——交互式复杂(IC)集、交互式简短(IS)集， 和商业智能(BI)——涵盖OLTP和OLAP风格的查询模式。所有三个查询集都包含读写查询。
  3. 不限制查询语言。我喜欢的另一个方面是，每个查询语义都是用纯文字描述的，并通过图形直观地说明。任何数据管理供应商都可以使用他们的DSL(领域特定语言)，如SQL、Cypher或GSQL，来实现基准查询，产生相同的结果。在ISO语言标准GQL在2023年或以后发布之前，这是非常有意义的。
  4. 数据生成器。数据生成器至关重要。它需要是确定性的，它应该生成接近现实生活特征的数据，并且它需要扩展以生成大型数据集。LDBC-SNB数据生成器遵循TPC基准的风格，TPC基准是业界最著名的关系数据库基准。它可以确定地生成不同的规模因子(SF scale factor): SF-1 (1GB数据)、SF-10 (10GB数据)、SF-1k (1TB数据)等等。此外，对于每个确定性生成的数据集，数据生成器可以生成相应的查询参数，以确保基准查询可以产生非空结果，可以跨系统比较。
  5. 拥有数十年努力的信誉良好的科研团队。它背后的工作组是全球 著名的数据库研究人员，数十年来一直在研究和实践图数据基准测试设计（请参阅他们的出版物列表）。

主持人：

非常详尽的介绍，相信能让大家对于LDBC-SNB基准有了更深的了解，您能聊聊这对于图数据库厂商意味着什么呢？

乌博士：

我觉得它给了数据库厂商测试和开发的利器。能帮助厂商迭代产品性能，清除阻塞点。任何忽略LDBC 这个组织的图数据库厂商可能会成熟的慢很多。TigerGraph 是从100G 开始做的，现在通过十年的迭代，已经能做到100T。这在业界遥遥领先。 100T 能跑动LDBC-SNB BI benchmark，是数据库的里程碑。当我跟Peter 在会上碰到时，他也对我们的延展性和性能大加赞赏，肯定的告诉我TigerGraph 是他至今看到的最快的厂商。

主持人：

上面是对于图数据库厂商而言的，那对于终端企业来说，他们可能更关心实际生产环节中，上面提到的基准测试的应用场景是什么？对他们来说能具体解决什么问题？这个您能说说吗？

乌博士：

终端企业购买者可以利用基准测试来降低他们购买图数据库的风险。他们可以通过看基准测试了解需要什么样的硬件环境，在多少的数据规模下，达到什么样的性能，就可以算出硬件环境的成本。同时，还可以预测性能是否满足商业指标SLA。 这些都可以通过基准测试在不同规模，根据企业数据规模和应用场景，做一对一的对标。如果不能完全贴合实际应用场景，企业也可以参考基准测试结果去评估，如果应用在特定规模的数据集上大概会是怎样的性能和效果。企业参考基准测试主要可以降低落地风险。可以看到什么样的表达能力，能解决什么样的问题。这些都降低了不确定性。因此，企业要根据实际情况选择具体基准测试进行深度研读，了解其查询类型和处理时间，这样结合起来可以帮助企业更好地选择图数据库。

主持人：

那前面提到的不同的测试重点，对于不同的行业和应用关注的重点是否有不同？

乌博士：

LDBC是一个组织，里面有很多基准测试，人们听到LDBC测试如果不去深究具体是哪个测试，就有容易张冠李戴的风险。简单介绍一下，LDBC发布了SNB（社交网络基准测试）、图算法测试、还有正在研发的金融场景测试。如果你考虑算法，可以看图算法基准测试。如果你考虑复杂的BI查询或者多跳，可以看SNB BI查询。如果你只是一步两步简单查询，可以去看SNB的IS和 IC基准测试。如果你是金融场景，可以参考由蚂蚁金服领头推动的未来将要推出的金融基准测试。我也很期待TigerGraph能实现金融场景基准测试。不同的企业根据不同的应用场景去看不同的LDBC下面的测试。

主持人：

前面也提到了近期LDBC宣布TigerGraph成为第一个成功通过 LDBC SNB 商业智能基准测试的企业。这对于TigerGraph来说是不是区别于其他图数据库产品的一个很好证明呢？

乌博士：

是的。我前面讲过了，LDBC SNB 有三个测试集。QPS 集中在IC 和 IS。国内很多厂商都已实现。 但他只是非常小的一部分短查询，最大的数据是300G，单机。有一定意义。但不是图数据库的真正难点。真正难实现的是BI 集。至今只有TigerGraph 实现了，还有一个德国的大学实现了300G以上的完整测试。这个测试集比较全面的覆盖了图数据库的难点。但也不全部。 我讲一下他是怎么评估的。
  1. 加载：为了开始基准测试，将一个初始快照加载到被测系统(SUT)中，记录load时间。
  2. Power batch: 这个工作流程首先执行写操作（插入/删除一天的增量数据），然后在不允许任何查询实例之间并发的情况下执行读操作测试。每个查询在读操作上花费的时间，记为𝑞1、𝑞2a、𝑞2b……、𝑞20a、𝑞20b；每个查询由30个不同的输入参数来测试。记下花在读操作上的总时间。顺序执行意味着在此批处理期间实现良好的性能，来测试SUT的查询内部的并行性。
  3. throughput吞吐量测试：吞吐量批运行与power batch有相同的操作，但允许查询完全并发执行，包括重叠读写(rw)。因此，可以利用查询间的并行性。为了符合有效运行条件，实验需要在24 小时内完成。越多的吞吐量批运行，越好。
我们是唯一经过基准测试的厂商。这20个查询包括数据库的真正难点：比如闭环链接问题， 非闭环链接问题，还有最短路径。它代表了图数据库的里程碑。 能给在很短时间完成这些查询，就是一个非常难的任务。
LDBC benchmark 是怎么评估的

主持人：

除了TigerGraph，目前市面上部分厂商也都表示参加了LDBC测试，并都宣称获得了不错的成绩，您前面也提到了企业在选择图数据库时，要特别注意，那对于应该怎么甄别这些信息，您有什么更好的建议吗？

乌博士：

部分企业往往以偏概全。 LDBC是一个组织，他有很多基准测试。每个测试侧重点不同。 如果只讲LDBC基准测试, 实际上很容易误导读者。当发布基准测试时，最好讲一下是哪一个基准测试，还有这个基准测试查询的意义。对于读者，在看基准测试时，一定要去看查询，是否与你的应用场景相关。
我前面讲过了，LDBC SNB 有三个测试集。QPS 集中在IC 和 IS。国内很多厂商都已实现。 但他只是非常小的一部分短查询。有一定意义。但不是图数据库的真正难点。最好以LDBC SNB BI 为基础， 因为它更丰富全面。官网上有两栏。一个是BI, 一个是IC, IS. 这些发布出来的是经过审核的。但一定要看清楚他是哪个测试集。你能找到相应的测试集查询，研究一下，是否符合你的业务复杂度。

主持人：

这些对于企业来说都是非常不错的建议，相信今天您的分享也让更多人对LDBC有了进一步了解和如何选择图数据库。非常感谢乌明希博士今天做客我们随身听。

乌博士：

也谢谢大家。谢谢主持人。

主持人：

好的，再次谢谢乌博士。以上就是我们今天关于LDBC的全部内容。如果您对于今天的内容有任何疑问，欢迎联系我们。如果您想了解更多有关LDBC的内容，可以在TigerGraph公众号对话框中输入“LDBC” ，我们为大家准备了相关的主题视频，可以参考学习。那今天的随身听就先到这里，我们下期再见。
TigerGraph LDBC SNB 36TB 基准测试
Play Video about TigerGraph LDBC SNB 36TB 基准测试
TigerGraph 图课堂：如何利用图技术优化保单理赔反欺诈识别

1月12日直播预告：如何利用图技术优化保单理赔反欺诈识别？

骗保一直是保险行业棘手的问题，各大保险公司始终在寻找好的技术手段来解决保险诈骗识别难、识别慢的问题。基于TigerGraph 平台提供的联通分量等算法进行社区检测，在实时反欺诈过程中，同时支持OLAP、OLTP的查询性能，支持逻辑多图，多个部门共享图数据，可以实现百亿份保单数据装载以及毫秒级反欺诈处理。本期图课堂将为大家详细解读如何利用图技术优化保单理赔反欺诈识别。
直播报名

相关资源

TigerGraph Blog

分类

最新帖子