Cointime

扫码下载App
iOS & Android

使用 Pinax 数据集和 Snowflake 轻松进行区块链数据分析

项目方

TL;DR:了解如何利用 Pinax 提供的数据集高效分析区块链数据。学习我们的解决方案如何通过 Parquet 文件和 Snowflake 等托管数据库简化对 ETH 数据的访问,从而能够执行 SQL 查询以提取有价值的见解,例如每日活跃用户和热门合约活动。

我们很高兴演示一款正在改变区块链数据分析的产品:与 Snowflake 集成的 Datasets on The Graph。在这篇文章中,我们将探讨我们正在解决的问题、我们的创新解决方案、人们如何使用我们的数据集以及我们对未来的愿景。

视频链接:https://youtu.be/7CxFGgNmu-Y


有关我们数据集的更多信息,请阅读文章:

区块链会生成大量数据,这些数据量很大,难以管理。提取此数据,尤其是在涉及来自 RPC 节点的详细交互时,需要自定义检测。

习惯了 SQL 等传统工具的分析师难以应对区块链数据提取的复杂性。再加上处理多个区块链网络的挑战,它成为一种运营负担。

高效访问这些数据还意味着最大限度地减少下载大量数据集的需求。这就是为什么我们需要一个支持数据存储的解决方案,以便您可以只查询所需的数据。

我们利用两项强大的技术:Firehose 和 Substreams。这些服务在 The Graph 上运行,并允许高效提取和存储区块链数据。我们首先为各种链(基于 EVM、Solana、BTC)定义区块架构,然后将它们导出为 Parquet 文件——本质上是具有数据库属性的平面文件。这些文件托管在 AWS S3 或其他与 S3 兼容的存储桶上。

为了使数据更易于访问,我们不会止步于原始存储。我们还在 Snowflake Marketplace 上列出了数据。您可以从 S3 查询原始数据,也可以直接连接到托管数据库 Snowflake,以对托管数据集运行 SQL 查询。这种多功能性使您可以以自己喜欢的方式访问区块链数据。

您有多种选项来访问数据。您可以:

  • 使用外部表或直接复制方法将原始数据从 S3 加载到数据库中。
  • 使用 SQL 直接查询 Snowflake 等托管数据库中的数据。
  • 使用 Polars 或 pandas 等 Python 库以编程方式读取单个 Parquet 文件。
---视频幻灯片中的屏幕截图, MVP 架构的数据管道。


数据管道从 Firehose 开始,它支持对区块链数据集进行检测,从而创建流经 Substreams 的标准化区块类型。在这里,我们为不同的数据类型(区块、交易跟踪、日志)定义架构,并将它们转换为 Parquet 文件。

提取的数据可以托管在 S3 上,然后以各种方式使用,例如 SQL 计算引擎或 Python 库。我们还支持两种不同的网关方法:

  1. 请求方支付:计费基于 S3 存储使用量,允许您为访问的特定数据量付费。
  2. Snowflake 市场:您可以直接访问数据集而无需复制,并享受 SQL 就绪托管数据库的额外便利性。
---视频幻灯片中的屏幕截图, MVP 架构的网关。


Snowflake 提供了一个市场,您可以在其中轻松找到数据集。例如,搜索 “Ethereum” 将显示来自知名数据提供商的列表。我们的以太坊数据集可以免费试用,不收取上架费用。

您可以通过查看区块、日志和交易哈希等表格来预览数据以熟悉其结构。目前,Snowflake 在单个区域(美国东部弗吉尼亚州北部)托管这些数据,我们计划在未来根据需要添加更多区域。

在我们的演示中,我们将展示如何使用 Snowflake 的 Python 笔记本来分析以太坊上的每日活跃用户,并使用 pandas 可视化数据。我们还按活动探讨了排名靠前的合约,强调了深入了解合约级别的详细信息是多么容易。

目前,我们在 Snowflake 和 S3 上托管了以太坊。我们正在积极扩展以支持其他 EVM 链,如 Base、Arbitrum、BSC 和 Polygon,以及非 EVM 链,如 Solana 和 BTC。此外,我们的目标是将数据刷新率从 24 小时缩短到尽可能低的水平,使近乎实时的分析成为现实。

我们很高兴能够继续构建和发展该产品,扩大对更多区块链的支持,并增强实时功能,使每个人都能访问区块链数据,从分析师到开发人员。

根据客户反馈和我们在 Snowflake 上进行数据集试点的成功,您将来可能会在 The Graph 上看到数据集作为完全受支持的数据服务产品。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或直接联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察方式。

(相关专业名词、注释、代码库、超链接等请关注博客查找)

小提示,我们的 ETH 数据集可以在Snowflake上免费试用!

💡 本文回答以下问题:

- 什么是区块链数据集?

- 分析人员如何处理托管在Snowflake上的数据集?

- 访问集中的数据有哪些不同的方法?

- 如何免费试用我们的ETH有限历史数据集?

评论

所有评论

推荐阅读

  • 中国人民银行:继续实施适度宽松的货币政策,加大逆周期和跨周期调节力度

    7月8日讯,中国人民银行货币政策委员会召开2026年第二季度例会。会议分析了国内外经济金融形势,认为当前外部环境更加复杂多变,世界经济增长动能疲弱,地缘冲突和经贸摩擦多发频发,主要经济体经济表现分化,通胀走势和货币政策调整存在不确定性。我国经济运行总体平稳、向新向优,高质量发展取得新成效,但仍面临供强需弱、结构分化、外部冲击等问题和挑战。要继续实施适度宽松的货币政策,加大逆周期和跨周期调节力度,更好发挥货币政策工具的总量和结构双重功能,加强货币财政政策协同配合,促进经济稳定增长和物价合理回升。(金十)

  • 中国人民银行:加强对扩大内需、科技创新、中小微企业等重点领域的金融支持

    7月8日讯,中国人民银行货币政策委员会召开2026年第二季度例会。会议指出,要引导大型银行发挥金融服务实体经济主力军作用,推动中小银行聚焦主责主业,增强银行资本实力。用好各类结构性货币政策工具,优化工具管理,扎实做好金融“五篇大文章”,加强对扩大内需、科技创新、中小微企业等重点领域的金融支持。持续做好支持民营经济发展壮大的金融服务。维护金融市场稳定运行。切实推进金融高水平双向开放,提高开放条件下经济金融管理能力和风险防控能力。(中国人民银行)

  • 英伟达启用以色列贝尔谢巴研发中心

    英伟达启用以色列贝尔谢巴研发中心。

  • 高盛集团预计日元贬值趋势仍未结束

    7月8日,7月以来,日元兑美元汇率延续下行态势,持续刷新近40年来低位,一度跌至162.80日元兑换1美元,创1986年12月以来新低。据美国方面6日消息,美国知名投行高盛集团预计,日元对美元汇率会进一步下跌。高盛集团将未来12个月日元对美元汇率预测从此前的155日元兑换1美元调整为165日元兑换1美元。

  • 伊朗议员:美国必须承认霍尔木兹海峡的伊朗制度

    7月8日,在伊朗革命卫队宣布打击该地区85个美军设施后,一位伊朗资深议员表示,美国必须“承认霍尔木兹海峡的新管理体制”。据官方媒体报道,伊朗议会国家安全和外交政策委员会主席易卜拉欣·阿齐兹在社交媒体上发表了上述言论,以评论革命卫队宣布的针对美国侵略行径的所谓“初步回应”。他表示:“别无他法:必须承认霍尔木兹海峡的新伊朗制度。”

  • 量化私募上半年增长超万亿元

    7月8日,一份2026年私募市场观察与分析相关报告显示,截至6月底,量化股票多头策略规模为1.83万亿元,相较于今年初增长1.1万亿元。同期,主观股票多头策略规模增长超6000亿元。

  • 美国芯片股盘前普跌,闪迪(SNDK.O)下跌6.3%

    美国芯片股盘前普跌,Arm(ARM.O)下跌3.8%,闪迪(SNDK.O)下跌6.3%,高通(QCOM.O)下跌2.2%。英伟达(NVDA.O)下跌1.9%,美光科技(MU.O)下跌5%,AMD(AMD.O)下跌2.5%,英特尔(INTC.O)下跌约5%。(金十)

  • 特朗普支持的AI金融公司洽谈出售核心业务

    据市场消息:特朗普支持的AI金融公司正洽谈出售核心业务。

  • 英伟达市值不到两个月蒸发1万亿美元 估值回落至人工智能热潮掀起之前的水平

    7月8日,在不到两个月的时间里市值蒸发约1万亿美元后,英伟达股票触及自人工智能热潮掀起并推动该股飙升以来的最低廉水平。这家芯片制造商的图形处理器(GPU)仍然主导着人工智能数据中心市场。但其股价自5月14日创下历史新高以来已下跌16%,投资者纷纷调整人工智能交易策略,卖出英伟达,转而投资其他半导体制造商,尤其是内存市场的制造商。数据显示,抛售潮导致英伟达基于未来12个月预期盈利的市盈率为18倍。上一次触及如此低廉的水平还是在2019年初。更直观地了解其下跌程度之深,可以从与基准股指的比较看出,标普500指数的预期市盈率为20倍,纳斯达克100指数的预期市盈率接近23倍。

  • 博通盘前直线拉升转涨

    7月8日,博通美股盘前直线拉升转涨,此前一度跌近3%。消息面上,苹果与博通新签订多年期协议,该协议预计将超过300亿美元,生产超过150亿颗美国制造的芯片。