Dataform — це служба для аналітиків даних, яка розробляє, тестує, контролює версії та планує складні робочі процеси SQL для перетворення даних у BigQuery.
00:00 Датаформа допомагає групам даних створювати, керувати версіями та оркеструвати конвеєри SQL у BigQuery. 00:07 Ми спостерігаємо тенденцію, коли організації повільно відходять від підходу ETL зі своїми конвеєрами. 00:13 у спеціальних інструментах і середовищах ETL, таких як Spark, до підходу ELT із конвеєрами SQL у BigQuery.
BigQuery є повністю керована платформа даних, готова до штучного інтелекту який допомагає керувати даними та аналізувати їх за допомогою таких вбудованих функцій, як машинне навчання, пошук, геопросторовий аналіз і бізнес-аналітика.
Параметри пакетного завантаження в BigQuery включають наступне: Завантажувати завдання. Завантажте дані з Cloud Storage або з локального файлу, створивши завдання завантаження. Записи можуть бути в Avro, CSV, JSON, ORC або Parquet формат.
Однією з головних відмінностей між цими двома інструментами є їх мобільність. dbt в основному спрямований на спільне розгортання аналітичного коду, який переноситься на різні бази даних. Тим часом, Dataform пропонує схожу функціональність, але зосереджена на конкретній базі даних, а саме BigQuery.
Ціноутворення. Dataform є безкоштовною послугою. Під час використання продукту можуть бути пов’язані витрати з інших послуг.
Colossus — глобальна система зберігання Google. BigQuery використовує стовпчастий формат зберігання та алгоритм стиснення для зберігання даних у Colossus, оптимізованому для читання великих обсягів структурованих даних.