Dune AI测评:链上分析师会下岗吗?
原创 | Odaily星球日报
作者 | 南枳
11 月初,,用户可以使用其自然语言引擎以任何语言提出问题,无需了解 SQL 即可获得加密数据见解。Odaily 将通过从简单到复杂的多个问题,对 Dune AI 进行测试,验证其可用性和可靠性。
案例 1 ——特定协议交易量查询
问题: Blur 过去七天的日交易量(Find the Blur volume in the for last 7 days, by day)?
将 Dune AI 给出的答案与 Dune 上(右下图),数据对比如下,二者有接近 1% 的差值。
案例 2 ——特定网络交易量查询
问题: Arbitrum 网络今天执行了多少笔交易(How many transactions were processed today in arbitrum)?
左图为 Dune AI 给出的答案,右边为 Odaily 所编辑 query,二者结果基本一致(差异来自 query 执行时间不同)。
案例 3 ——带有歧义的查询
问题: Uniswap 上周日交易总量(Total volume on Uniswap last week by day)?
在这里,出现了三个问题:
-
Dune AI 将查询范围限制在了以太坊上,而 Uniswap 部署于多个链上,并且原提问并没有这个要求。
-
与数据对比,差值较大, 24 日至 26 日为例,分别相差 6% 、 9% 和 11% 。
- 此处原本想要查询的是上一个星期周一至周日的数据,而此处的last week被解释为过去七日,为进一步验证,将查询语句修改为“上一个完整周的Uniswap日交易量(The total volume on Uniswap for the previous full week by day)”,结果如下图所示,仍然查询的是过去七日的数据。
案例 4 ——多条件复杂查询
问题:过去一周使用 Stargate 在以太坊和 Arbitrum 之间跨链的每日金额(The daily amount bridged between Ethereum and Arbitrum using Stargate over the past week)?
查询结果为空,Odaily 对 query 进行查验后,整体查询内容和语法都没有问题,查询出错的原因在于选择了错误的数据集“stargate_arbitrum.ProxyOFT_evt_SendToChain”,这是一个只有 12 条数据的数据集。
案例 5 ——模糊查询
问题:Uniswap 的收入、 Unibot 的收入?
Dune AI 要求进一步明确问题,而不会自主给出总交易量/日交易量等不同的 query。
而进一步明确问题“Uniswap的日收入(daily revenue of Uniswap)”,Dune AI开始查询,但最终给出了错误答案,将日交易量作为Uniswap的收入进行了计算。
案例 6 ——新概念查询
问题:pols 的铭刻详情(the inscription process of pols)?
Dune AI 并不能理解铭刻(inscription)的概念,尽管站内已有人写过 pols 的相关 query。
小结
Dune AI 的 SQL 基本功扎实,只要存在相应的数据能够正确写出对应的 query,但是还存在着自然语义处理能力不足、准确性不足、不存在抽象理解能力等问题。目前来看除了比较简单的问题外,Dune AI 仅能作为 query 的撰写助手,答案是否可靠还需要人工对 SQL 内容进行验证。