16.10.2020

Інтеграція фінансового датасету Tezos у Google BigQuery

Ми раді поділитися новиною про те, що завершили інтеграцію датасету Tezos в Google BigQuery!

Він розміщується в Google Cloud у вигляді загальнодоступного набору даних у розділі «Фінансові послуги», внесений до списку на Google Cloud Marketplace, а також знаходиться за посиланням.

Google Cloud розміщує набір даних для загального доступу, ви сплачуєте лише за запити даних. Однак ви можете запитувати цей набір даних безкоштовно, до 1 ТБ в місяць, щомісяця!

Google BigQuery спрощує виконання запитів он-чейн просто і організовано в хмарі з використанням стандартного синтаксису SQL. Ви можете думати про це як про потужний індексатор, який дозволяє виконувати потужний аналіз даних. Ви також можете виконувати одні й ті ж або схожі запити на декількох блокчейнах одночасно і порівнювати їх або відстежувати міжланцюгову активність на сумісних токенах, таких як tzBTC.

Хоча ноди Tezos дозволяють виконувати базові запити для отримання даних про адреси і транзакції, аналіз, навіть базовий, не підтримується. Дані Tezos необхідно завантажити в сховище даних, щоб отримати необхідну інформацію. Наприклад, на цій діаграмі показано зростання спільноти Tezos (фінансовані рахунки) з плином часу, запитаний через BigQuery і візуалізований з допомогою Google Data Studio:

Image for post

Звичайно, є незліченна кількість способів того, як використовувати це для збору і аналізу даних. Деякі з можливостей:

  • Відстежити витрати на газ з часом
  • Відстежити активність по смарт-контрактам
  • Путівник по структурі даних з подвійним записом, яка дозволяє виконувати багатоланцюговий мета-аналіз
  • Інтеграція зі звичайними системами обробки фінансової документації
  • Визначити найактивніші / популярні токени, контракти або додатки на Tezos
  • Запитати всі транзакції, які відповідають певним умовам
  • Журнали аудиту

Нижче показано, наскільки просто можна зробити запит за загальною кількістю транзакцій через Tezos:

#standardSQL

SELECT COUNT(*) as count

FROM `public-data-finance.crypto_tezos.transaction_operations`

Зараз Tezos Commons завантажує дані Tezos в BigQuery щодня за допомогою нових інструментів Tezos ETL (витяг, перетворення, завантаження), Airflow DAG і нода Kubernetes. Всі вони з відкритим вихідним кодом, і їх можна знайти тут:

Будемо вдячні за ваш внесок, а також використовуйте їх для своїх проєктів!

Нам було надзвичайно приємно працювати з Аленом Деєм, всією командою Google Cloud над цим проєктом, а також із засновником проєкту Blockchain ETL — Євгеном Мєдвєдєвим та його командою Helix Technologies, яких мі сміливо рекомендуємо всім, хто хоче почати роботу з ETL та інтеграцією BigQuery.

Ми з нетерпінням чекаємо на продовження роботи над покращенням проєкту та розвитком його функціоналу.

Інші корисні посилання:

Метеріал перекладено на українську мову командою Tezos Ukraine
Оригінал: 
Tezos Public Finance Dataset Integrated into Google BigQuery

Готовий працювати з Tezos Ukraine?

Контакти