Cointime

扫码下载App
iOS & Android

使用 Pinax 数据集和 Snowflake 轻松进行区块链数据分析

项目方

TL;DR:了解如何利用 Pinax 提供的数据集高效分析区块链数据。学习我们的解决方案如何通过 Parquet 文件和 Snowflake 等托管数据库简化对 ETH 数据的访问,从而能够执行 SQL 查询以提取有价值的见解,例如每日活跃用户和热门合约活动。

我们很高兴演示一款正在改变区块链数据分析的产品:与 Snowflake 集成的 Datasets on The Graph。在这篇文章中,我们将探讨我们正在解决的问题、我们的创新解决方案、人们如何使用我们的数据集以及我们对未来的愿景。

视频链接:https://youtu.be/7CxFGgNmu-Y


有关我们数据集的更多信息,请阅读文章:

区块链会生成大量数据,这些数据量很大,难以管理。提取此数据,尤其是在涉及来自 RPC 节点的详细交互时,需要自定义检测。

习惯了 SQL 等传统工具的分析师难以应对区块链数据提取的复杂性。再加上处理多个区块链网络的挑战,它成为一种运营负担。

高效访问这些数据还意味着最大限度地减少下载大量数据集的需求。这就是为什么我们需要一个支持数据存储的解决方案,以便您可以只查询所需的数据。

我们利用两项强大的技术:Firehose 和 Substreams。这些服务在 The Graph 上运行,并允许高效提取和存储区块链数据。我们首先为各种链(基于 EVM、Solana、BTC)定义区块架构,然后将它们导出为 Parquet 文件——本质上是具有数据库属性的平面文件。这些文件托管在 AWS S3 或其他与 S3 兼容的存储桶上。

为了使数据更易于访问,我们不会止步于原始存储。我们还在 Snowflake Marketplace 上列出了数据。您可以从 S3 查询原始数据,也可以直接连接到托管数据库 Snowflake,以对托管数据集运行 SQL 查询。这种多功能性使您可以以自己喜欢的方式访问区块链数据。

您有多种选项来访问数据。您可以:

  • 使用外部表或直接复制方法将原始数据从 S3 加载到数据库中。
  • 使用 SQL 直接查询 Snowflake 等托管数据库中的数据。
  • 使用 Polars 或 pandas 等 Python 库以编程方式读取单个 Parquet 文件。
---视频幻灯片中的屏幕截图, MVP 架构的数据管道。


数据管道从 Firehose 开始,它支持对区块链数据集进行检测,从而创建流经 Substreams 的标准化区块类型。在这里,我们为不同的数据类型(区块、交易跟踪、日志)定义架构,并将它们转换为 Parquet 文件。

提取的数据可以托管在 S3 上,然后以各种方式使用,例如 SQL 计算引擎或 Python 库。我们还支持两种不同的网关方法:

  1. 请求方支付:计费基于 S3 存储使用量,允许您为访问的特定数据量付费。
  2. Snowflake 市场:您可以直接访问数据集而无需复制,并享受 SQL 就绪托管数据库的额外便利性。
---视频幻灯片中的屏幕截图, MVP 架构的网关。


Snowflake 提供了一个市场,您可以在其中轻松找到数据集。例如,搜索 “Ethereum” 将显示来自知名数据提供商的列表。我们的以太坊数据集可以免费试用,不收取上架费用。

您可以通过查看区块、日志和交易哈希等表格来预览数据以熟悉其结构。目前,Snowflake 在单个区域(美国东部弗吉尼亚州北部)托管这些数据,我们计划在未来根据需要添加更多区域。

在我们的演示中,我们将展示如何使用 Snowflake 的 Python 笔记本来分析以太坊上的每日活跃用户,并使用 pandas 可视化数据。我们还按活动探讨了排名靠前的合约,强调了深入了解合约级别的详细信息是多么容易。

目前,我们在 Snowflake 和 S3 上托管了以太坊。我们正在积极扩展以支持其他 EVM 链,如 Base、Arbitrum、BSC 和 Polygon,以及非 EVM 链,如 Solana 和 BTC。此外,我们的目标是将数据刷新率从 24 小时缩短到尽可能低的水平,使近乎实时的分析成为现实。

我们很高兴能够继续构建和发展该产品,扩大对更多区块链的支持,并增强实时功能,使每个人都能访问区块链数据,从分析师到开发人员。

根据客户反馈和我们在 Snowflake 上进行数据集试点的成功,您将来可能会在 The Graph 上看到数据集作为完全受支持的数据服务产品。

如果您有兴趣探索我们如何根据您的需求简化区块链数据访问,请访问我们的网站或直接联系我们以了解更多信息。申请演示,了解我们如何转变您的区块链数据洞察方式。

(相关专业名词、注释、代码库、超链接等请关注博客查找)

小提示,我们的 ETH 数据集可以在Snowflake上免费试用!

💡 本文回答以下问题:

- 什么是区块链数据集?

- 分析人员如何处理托管在Snowflake上的数据集?

- 访问集中的数据有哪些不同的方法?

- 如何免费试用我们的ETH有限历史数据集?

评论

所有评论

推荐阅读

  • EXOR集团 :拒绝Tether公司收购尤文图斯股份的提议

    EXOR集团 :拒绝Tether公司收购尤文图斯股份的提议,重申无意出售尤文图斯股份。 此前报道,加密货币巨头Tether公司对于收购尤文图斯俱乐部的计划非常认真,他们准备再次开出一份超过20亿欧元的新报价。

  • Tether 开出总估价超过 20 亿欧元的新报价收购尤文图斯

    加密货币巨头 Tether 公司对于收购尤文图斯俱乐部的计划非常认真,他们准备再次开出一份超过 20 亿欧元的新报价。昨天 Tether 已经向 Exor 董事会提交了一份报价,意图收购阿涅利家族控股公司所持有的尤文图斯 65.4% 股份,这一消息由首席执行官保罗-阿尔多伊诺通过社交媒体公布,但这仅仅是谈判的开始。

  • American Bitcoin比特币储备过去7天增加约623枚,现仓位达4941枚BTC

    此前曾披露分析“1011内幕巨鲸”的链上分析师Emmett Gallic在X平台发文披露特朗普家族支持的加密矿企American Bitcoin比特币储备更新数据,过去七天增加约623枚BTC,其中约80枚来自于挖矿收入,542枚来自于公开市场的战略收购,截至目前其比特币总持有量增至4941枚,当前市值约合4.5亿美元。

  • 美国现货以太坊ETF昨日净流出1940万美元

    据TraderT监测,美国现货以太坊ETF昨日净流出1940万美元

  • ANOME 卡牌在 Base 涨幅+5359%,BNB Chain 剛開盤——真正的早鳥位置就在現在!

    在ANOME,每一次互動都不僅僅是一種遊戲體驗——它還是一個更廣泛的投資、戰略和個人成長過程的一部分。

  • 华夏基金香港在Solana上推出亚洲最大代币化货币市场基金

    12月12日消息,华夏基金香港(ChinaAMC HK)产品与策略负责人 Katie He 在 Solana Breakpoint 大会上表示,将推出亚洲首个且规模最大的代币化货币市场基金,涵盖港币(HKD)、美元(USD)和人民币(RMB)计价,将传统货币市场工具代币化,为投资者提供安全、链上访问稳定收益的机会,具有完全透明度和实时结算。经过数月与监管机构及 OSL 等伙伴的合作,这一创新将自香港扩展至更广阔地区,并原生部署到 Solana 区块链上。

  • 加拿大皇家银行已购入77,700股American Bitcoin股票

    据市场消息:价值1万亿美元的加拿大皇家银行已购入77,700股American Bitcoin ($ABTC)股票,价值约15万美元。该比特币矿企由特朗普家族成员Eric Trump支持。

  • 中国人民银行:继续实施适度宽松的货币政策,推进人民币国际化

    中国人民银行党委召开会议,会议纪要第三点指出:继续实施适度宽松的货币政策,加快推进金融供给侧结构性改革。把促进经济稳定增长、物价合理回升作为货币政策的重要考量,灵活高效运用降准降息等多种货币政策工具,把握好政策实施的力度、节奏和时机,保持流动性充裕,促进社会综合融资成本低位运行,加强对实体经济的金融支持。畅通货币政策传导机制,优化结构性货币政策工具运用,加强与财政政策的协同,激励和引导金融机构加力支持扩大内需、科技创新、中小微企业等重点领域。保持人民币汇率在合理均衡水平上的基本稳定。会议纪要第五点指出:稳步推进金融高水平开放,维护中国国家金融安全。践行全球治理倡议,积极参与和推进全球金融治理改革完善。务实开展金融外交和多双边货币金融合作。推进人民币国际化。持续建设和发展多渠道、广覆盖的人民币跨境支付体系。稳步发展数字人民币。

  • 日本央行据悉将进行更多加息 部分官员认为中性利率高于1%

    据知情人士透露,日本央行官员认为,在本轮加息周期结束前,利率很可能升至0.75%之上,这表明在下周加息之后,可能还会有更多次加息。这些人士称,官员认为,即使加息至0.75%,日本央行仍未达到中性利率水平。部分官员已认为1%仍低于中性利率水平。知情人士表示,即便日本央行根据最新数据更新中性利率估算,目前也并不认为该区间会显著收窄。目前日本央行对名义中性利率区间的估计约为1%至2.5%。知情人士称,日本央行官员认为该区间上下限本身也可能存在误差。(金十)

  • Nexus 启动“节点之光·先锋理财周”,打造节点用户专属通道

    Nexus 12月12日宣布即将启动为期五天的 “节点之光·先锋理财周”,以“节点身份金融特权” 为核心理念,为生态核心参与者开启一段独立于全平台的专属理财周期。此次活动仅限节点用户参与专属理财包认购,并为随后上线的全平台理财与 NexSwap 注入市场期待。