Cointime

扫码下载App
iOS & Android

使用 Pinax 数据集和 Snowflake 轻松进行区块链数据分析

项目方

TL;DR:了解如何利用 Pinax 提供的数据集高效分析区块链数据。学习我们的解决方案如何通过 Parquet 文件和 Snowflake 等托管数据库简化对 ETH 数据的访问,从而能够执行 SQL 查询以提取有价值的见解,例如每日活跃用户和热门合约活动。

我们很高兴演示一款正在改变区块链数据分析的产品:与 Snowflake 集成的 Datasets on The Graph。在这篇文章中,我们将探讨我们正在解决的问题、我们的创新解决方案、人们如何使用我们的数据集以及我们对未来的愿景。

视频链接:https://youtu.be/7CxFGgNmu-Y


有关我们数据集的更多信息,请阅读文章:

区块链会生成大量数据,这些数据量很大,难以管理。提取此数据,尤其是在涉及来自 RPC 节点的详细交互时,需要自定义检测。

习惯了 SQL 等传统工具的分析师难以应对区块链数据提取的复杂性。再加上处理多个区块链网络的挑战,它成为一种运营负担。

高效访问这些数据还意味着最大限度地减少下载大量数据集的需求。这就是为什么我们需要一个支持数据存储的解决方案,以便您可以只查询所需的数据。

我们利用两项强大的技术:Firehose 和 Substreams。这些服务在 The Graph 上运行,并允许高效提取和存储区块链数据。我们首先为各种链(基于 EVM、Solana、BTC)定义区块架构,然后将它们导出为 Parquet 文件——本质上是具有数据库属性的平面文件。这些文件托管在 AWS S3 或其他与 S3 兼容的存储桶上。

为了使数据更易于访问,我们不会止步于原始存储。我们还在 Snowflake Marketplace 上列出了数据。您可以从 S3 查询原始数据,也可以直接连接到托管数据库 Snowflake,以对托管数据集运行 SQL 查询。这种多功能性使您可以以自己喜欢的方式访问区块链数据。

您有多种选项来访问数据。您可以:

  • 使用外部表或直接复制方法将原始数据从 S3 加载到数据库中。
  • 使用 SQL 直接查询 Snowflake 等托管数据库中的数据。
  • 使用 Polars 或 pandas 等 Python 库以编程方式读取单个 Parquet 文件。
---视频幻灯片中的屏幕截图, MVP 架构的数据管道。


数据管道从 Firehose 开始,它支持对区块链数据集进行检测,从而创建流经 Substreams 的标准化区块类型。在这里,我们为不同的数据类型(区块、交易跟踪、日志)定义架构,并将它们转换为 Parquet 文件。

提取的数据可以托管在 S3 上,然后以各种方式使用,例如 SQL 计算引擎或 Python 库。我们还支持两种不同的网关方法:

  1. 请求方支付:计费基于 S3 存储使用量,允许您为访问的特定数据量付费。
  2. Snowflake 市场:您可以直接访问数据集而无需复制,并享受 SQL 就绪托管数据库的额外便利性。
---视频幻灯片中的屏幕截图, MVP 架构的网关。


Snowflake 提供了一个市场,您可以在其中轻松找到数据集。例如,搜索 “Ethereum” 将显示来自知名数据提供商的列表。我们的以太坊数据集可以免费试用,不收取上架费用。

您可以通过查看区块、日志和交易哈希等表格来预览数据以熟悉其结构。目前,Snowflake 在单个区域(美国东部弗吉尼亚州北部)托管这些数据,我们计划在未来根据需要添加更多区域。

在我们的演示中,我们将展示如何使用 Snowflake 的 Python 笔记本来分析以太坊上的每日活跃用户,并使用 pandas 可视化数据。我们还按活动探讨了排名靠前的合约,强调了深入了解合约级别的详细信息是多么容易。

目前,我们在 Snowflake 和 S3 上托管了以太坊。我们正在积极扩展以支持其他 EVM 链,如 Base、Arbitrum、BSC 和 Polygon,以及非 EVM 链,如 Solana 和 BTC。此外,我们的目标是将数据刷新率从 24 小时缩短到尽可能低的水平,使近乎实时的分析成为现实。

我们很高兴能够继续构建和发展该产品,扩大对更多区块链的支持,并增强实时功能,使每个人都能访问区块链数据,从分析师到开发人员。

根据客户反馈和我们在 Snowflake 上进行数据集试点的成功,您将来可能会在 The Graph 上看到数据集作为完全受支持的数据服务产品。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或直接联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察方式。

(相关专业名词、注释、代码库、超链接等请关注博客查找)

小提示,我们的 ETH 数据集可以在Snowflake上免费试用!

💡 本文回答以下问题:

- 什么是区块链数据集?

- 分析人员如何处理托管在Snowflake上的数据集?

- 访问集中的数据有哪些不同的方法?

- 如何免费试用我们的ETH有限历史数据集?

评论

所有评论

推荐阅读

  • 伊朗:谈判重点是结束战争 正努力敲定谅解备忘录

    5月23日,伊朗外交部发言人巴加埃23日接受伊朗伊斯兰共和国广播电视台采访表示,当前谈判重点是推动结束“被强加的战争”,暂不深入讨论核问题,伊美正在努力敲定谅解备忘录。巴加埃说,现阶段谈判不涉及核问题及其相应的解除制裁的具体细节,但伊朗要求解除制裁、尤其是释放被冻结资产等诉求,已明确写入14条谅解备忘录文本。他表示,伊朗之所以暂不深入讨论核问题,是因为认为核问题曾两度成为针对伊朗发动战争的借口。当前伊朗将重点放在推动结束包括黎巴嫩在内“所有战线上的战争”,可能在30天或60天后的下一个阶段再进入核问题的谈判。(新华社)

  • BTC跌破75000美元

    行情显示,BTC跌破75000美元,现报74988美元,24小时跌幅达到3.19%,行情波动较大,请做好风险控制。

  • Michael Saylor:Strategy 或在2026 年前出售部分比特币

    据Strategy董事长Michael Saylor 表示,公司不太可能完全不卖出比特币,或将在2026年底前出售部分BTC,并动态管理美元现金储备,以实现每股比特币数量最大化目标。截至目前,Strategy持有约84.38万枚BTC,总价值约650亿美元,平均买入成本约为7.57万美元。当前比特币价格约为7.6万美元,接近其整体持仓成本线。

  • 知情人士:美筹备对伊朗发动新一轮军事打击 但仍未最终决定

    5月23日讯,据知情人士透露,尽管外交努力仍在持续,特朗普政府当日仍在筹备对伊朗发动新一轮军事打击。截至当日下午,关于是否发动打击尚未有最终决定。特朗普在社交媒体发文称,受“与政府事务相关的特殊情况��影响,他将无法出席本周末儿子小唐纳德·特朗普的婚礼。他此前原计划在“阵亡将士纪念日”周末前往其位于新泽西州的私人高尔夫球场度假,但现已决定返回白宫。据多位消息人士透露,鉴于可能发生军事打击,美国军方和情报界的部分人员已取消了原定的“阵亡将士纪念日”周末休假计划。国防和情报官员已开始更新美国海外军事基地的紧急召回名册。与此同时,驻扎在中东的部分美军部队正分批轮换撤离战区。(央视新闻)

  • 新任美联储主席沃什:将领导一个以改革为导向的美联储

    5月23日,第17任美联储主席沃什于周五在白宫宣誓就职。沃什表示: “美联储的使命是促进物价稳定和充分就业。”他说,“当以智慧和清晰的思路、独立和坚定的决心去追求这些目标时,通胀可以降低,经济增长可以更强劲,实际到手工资可以更高,美国可以更加繁荣,而且同样重要的是,美国在世界上的地位也会更加稳固。”他补充说:“为了完成这项使命,我将领导一个以改革为导向的美联储,从过去的成功和错误中吸取教训,既要摆脱静态的框架和模式,又要坚持明确的诚信和绩效���准。”

  • 美国新版战略比特币储备法案取消“100万枚BTC”购买目标,已持有BTC拟锁定20年

    5月23日,美国众议院提出新版两党法案《American Reserve Modernization Act of 2026》(ARMA),拟将美国政府持有的比特币纳入战略储备,并要求至少锁定 20 年。与此前提出的 BITCOIN Act 不同,新法案不再要求美国政府购买 100 万枚 BTC,而是主要将通过刑事和民事没收等方式已持有或未来获得的比特币纳入储备。 同时,法案还将设立独立的数字资产库存,用于管理联邦政府持有的非比特币加密资产。根据草案,进入战略储备的比特币在 20 年内不得出售、交换、拍卖、抵押或以其他方式处置。锁定期结束后,财政部长可建议在任意两年内出售最多 10% 的储备资产。法案还要求政府按季度公开储备证明,并对比特币持仓进行第三方审计。支持者认为,美国不应出售战略性数字资产,而应将其作为现代化国家储备体系的一部分长期持有。

  • 美SEC推迟开放代币化股票交易

    5月23日,据彭博社,由于面临监管担忧及外界反对,美国 SEC 已推迟允许代币化股票交易的相关计划。报道称,SEC 目前正重新评估相关风险及市场影响。

  • BTC跌破76000美元

    行情显示,BTC跌破76000美元,现报75997.97美元,24小时跌幅达到2.28%,行情波动较大,请做好风险控制。

  • 交易员已完全预期到2026年底美联储将加息25个基点

    5月22日,市场定价显示,交易员已完全预期到2026年底美联储将加息25个基点。消息面上,美联储理事沃勒表示,美联储不应再释放降息信号,短时间内应按兵不动。

  • 现货黄金、纽约期金双双失守4500美元

    5月22日,现货黄金、纽约期金双双失守4500美元/盎司,日内跌0.94%。交易员完全定价美联储截至2026年底将加息25个基点。