Cointime

扫码下载App
iOS & Android

使用 Pinax 数据集和 Snowflake 轻松进行区块链数据分析

项目方

TL;DR:了解如何利用 Pinax 提供的数据集高效分析区块链数据。学习我们的解决方案如何通过 Parquet 文件和 Snowflake 等托管数据库简化对 ETH 数据的访问,从而能够执行 SQL 查询以提取有价值的见解,例如每日活跃用户和热门合约活动。

我们很高兴演示一款正在改变区块链数据分析的产品:与 Snowflake 集成的 Datasets on The Graph。在这篇文章中,我们将探讨我们正在解决的问题、我们的创新解决方案、人们如何使用我们的数据集以及我们对未来的愿景。

视频链接:https://youtu.be/7CxFGgNmu-Y


有关我们数据集的更多信息,请阅读文章:

区块链会生成大量数据,这些数据量很大,难以管理。提取此数据,尤其是在涉及来自 RPC 节点的详细交互时,需要自定义检测。

习惯了 SQL 等传统工具的分析师难以应对区块链数据提取的复杂性。再加上处理多个区块链网络的挑战,它成为一种运营负担。

高效访问这些数据还意味着最大限度地减少下载大量数据集的需求。这就是为什么我们需要一个支持数据存储的解决方案,以便您可以只查询所需的数据。

我们利用两项强大的技术:Firehose 和 Substreams。这些服务在 The Graph 上运行,并允许高效提取和存储区块链数据。我们首先为各种链(基于 EVM、Solana、BTC)定义区块架构,然后将它们导出为 Parquet 文件——本质上是具有数据库属性的平面文件。这些文件托管在 AWS S3 或其他与 S3 兼容的存储桶上。

为了使数据更易于访问,我们不会止步于原始存储。我们还在 Snowflake Marketplace 上列出了数据。您可以从 S3 查询原始数据,也可以直接连接到托管数据库 Snowflake,以对托管数据集运行 SQL 查询。这种多功能性使您可以以自己喜欢的方式访问区块链数据。

您有多种选项来访问数据。您可以:

  • 使用外部表或直接复制方法将原始数据从 S3 加载到数据库中。
  • 使用 SQL 直接查询 Snowflake 等托管数据库中的数据。
  • 使用 Polars 或 pandas 等 Python 库以编程方式读取单个 Parquet 文件。
---视频幻灯片中的屏幕截图, MVP 架构的数据管道。


数据管道从 Firehose 开始,它支持对区块链数据集进行检测,从而创建流经 Substreams 的标准化区块类型。在这里,我们为不同的数据类型(区块、交易跟踪、日志)定义架构,并将它们转换为 Parquet 文件。

提取的数据可以托管在 S3 上,然后以各种方式使用,例如 SQL 计算引擎或 Python 库。我们还支持两种不同的网关方法:

  1. 请求方支付:计费基于 S3 存储使用量,允许您为访问的特定数据量付费。
  2. Snowflake 市场:您可以直接访问数据集而无需复制,并享受 SQL 就绪托管数据库的额外便利性。
---视频幻灯片中的屏幕截图, MVP 架构的网关。


Snowflake 提供了一个市场,您可以在其中轻松找到数据集。例如,搜索 “Ethereum” 将显示来自知名数据提供商的列表。我们的以太坊数据集可以免费试用,不收取上架费用。

您可以通过查看区块、日志和交易哈希等表格来预览数据以熟悉其结构。目前,Snowflake 在单个区域(美国东部弗吉尼亚州北部)托管这些数据,我们计划在未来根据需要添加更多区域。

在我们的演示中,我们将展示如何使用 Snowflake 的 Python 笔记本来分析以太坊上的每日活跃用户,并使用 pandas 可视化数据。我们还按活动探讨了排名靠前的合约,强调了深入了解合约级别的详细信息是多么容易。

目前,我们在 Snowflake 和 S3 上托管了以太坊。我们正在积极扩展以支持其他 EVM 链,如 Base、Arbitrum、BSC 和 Polygon,以及非 EVM 链,如 Solana 和 BTC。此外,我们的目标是将数据刷新率从 24 小时缩短到尽可能低的水平,使近乎实时的分析成为现实。

我们很高兴能够继续构建和发展该产品,扩大对更多区块链的支持,并增强实时功能,使每个人都能访问区块链数据,从分析师到开发人员。

根据客户反馈和我们在 Snowflake 上进行数据集试点的成功,您将来可能会在 The Graph 上看到数据集作为完全受支持的数据服务产品。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或直接联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察方式。

(相关专业名词、注释、代码库、超链接等请关注博客查找)

小提示,我们的 ETH 数据集可以在Snowflake上免费试用!

💡 本文回答以下问题:

- 什么是区块链数据集?

- 分析人员如何处理托管在Snowflake上的数据集?

- 访问集中的数据有哪些不同的方法?

- 如何免费试用我们的ETH有限历史数据集?

评论

所有评论

推荐阅读

  • 机构:多国央行可能正步入同步加息周期

    6月15日,道富投资管理公司亚太区经济学家Krishna Bhimavarapu表示,在经济韧性增强和通胀走高的支撑下,各国央行可能正步入同步加息的阶段。Bhimavarapu指出,日本央行似乎准备将利率上调至1.0%这一心理关键点,并补充称日本央行可能会暗示今年还将进行第二次加息。不过相比之下,澳洲联储似乎将暂停加息,因为经济增长和劳动力市场的动能均已减弱。然而,通胀问题尚未解决,这可能为今年晚些时候至少再加息一次留有余地。此外,Bhimavarapu预计,美联储在本周结束时可能转向鹰派立场。

  • 消息称立讯精密计划最快7月在港上市

    6月15日,据IFR,立讯精密计划最快7月份在香港上市,拟筹资20亿至30亿美元。

  • WLD日内大涨超15%,现报0.5858美元

    6月15日,行情显示,WLD日内大涨超15%,现报0.5858美元。此前消息,World 宣布其已进入「The Simple Plan」第三阶段(Reach critical scale and initial utility),增长模式将从早期代币激励转向实用驱动增长。

  • 美国现货以太坊ETF昨日净流出493万美元

    6月13日,据Trader T监测,美国现货以太坊ETF昨日净流出493万美元。

  • 美国现货比特币ETF昨日净流入8582万美元

    6月13日,据Trader T监测,美国现货比特币ETF昨日净流入8582万美元。

  • 美国禁止外国主体访问Fable 5和Mythos 5,Anthropic发长文驳斥

    6月13日,Anthropic发布声明称,美国政府以国家安全权力为由,发布了一项出口管制指令,要求暂停任何外国主体对人工智能模型Fable 5 和Mythos 5的所有访问权限,无论该人员是否在美国境内,包括属于外国公民的Anthropic员工。该命令的实际效果是,我们必须立即为所有客户禁用Fable 5和Mythos 5,以确保合规。所有其他Anthropic模型的访问将不受影响。我们于今天下午5点21分(美国东部时间)收到了政府的指令。该信函未说明其国家安全关切的具体细节。我们的理解是,政府认为其已获悉一种绕过或“越狱”Fable 5的方法。迄今为止,政府仅向我们提供了口头证据,证明存在一种潜在的狭窄、非通用越狱,本质上是通过要求模型读取特定的代码库并修复任何软件缺陷。我们正在遵守政府的合法指令,并正在移除所有用户对 Fable 5 和 Mythos 5 的访问权限。但是,我们不同意“某个狭窄的潜在越狱漏洞就应成为召回已部署给数亿用户的商业模型的原因”这一结论。(金十)

  • 伊朗外长:伊美谅解备忘录可能在几天内签署

    6月13日,据伊朗媒体12日报道,伊朗外长阿拉格齐表示,一旦伊美完成最后阶段的谈判,谅解备忘录将立即签署并公布。第一阶段将以远程电子方式签署,“这可能在未来几天内发生”。(新华社)

  • 美国官员:美伊接近达成协议,将在未来几天签署

    6月13日,据路透社报道,一名美国高级官员当地时间周五表示,美国和伊朗尚未真正抵达终点线,但距离达成一项解决双方冲突的协议已经非常接近,华盛顿预计将在未来几天签署协议。“谈判团队让我们处在一个非常有利的位置,但我们还要再看看,我们还没有真正抵达终点线,但已经非常接近了,”这名美国官员表示。该官员称,已达成一致的条款实现了特朗普的核心目标。谅解备忘录的条款包括重新开放霍尔木兹海峡,以及解除美国对伊朗港口的封锁。伊朗的高丰度浓缩铀也将被就地销毁,随后运出该国。“伊朗不会因为签署谅解备忘录或谈判本身而得到任何东西,”该官员说,“他们会因为履行协议规定的义务而获得经济奖励。因此,如果他们按承诺交出核材料,就会得到一些东西。如果他们拆除核计划或核设施,就会得到另外的东西。”

  • 伊朗外交部:伊方正在审议谅解备忘录草案

    6月13日,当地时间12日,伊朗外交部发言人巴加埃表示,目前伊美双方已经在大多数问题上达成谅解,伊朗内部正在对谅解备忘录文本进行最后阶段的汇总。因此,伊朗外长阿拉格齐此前关于“双方已非常接近达成谅解”的表态是准确且值得关注的。相关决策机构的会议正在举行,这是一个持续推进的过程。为达成一个最终且具有决定性的结果,决策机构和相关部门之间必须形成共识。巴加埃还表示,目前有关协议文本内容的各种猜测均未获得证实。虽然外交进程中的具体细节暂不便公开讨论,但这并不意味着公众没有知情权。(央视新闻)