bigquery eyecatch

Blog

 

この記事では、Google BigQueryの概要から、導入するメリットや導入事例、導入を検討する上で注意すべきポイントまでを解説します。

 

BigQueryの基本情報

まずBigQueryの概要を説明します。

BigQueryとは

BigQueryは、Google Cloud Platform(GCP)で提供される、サーバーレスでスケーラビリティと費用対効果に優れたマルチクラウドデータウェアハウスです。

 

超高速な処理が特徴で、120億行の正規表現マッチ付き集計を数十秒で完了させます。ログ解析・業務効率化・リアルタイム分析といったデータ分析業務に欠かせないツールです。

 

もともと、Googleが社内用に開発した「Dremel(ドレメル)」という大規模なクエリを実行するサービスを、外部ユーザー向けに利用できるようにしたもので、2006年に社内運用を開始し、2012年にBigQueryとしてリリースされました。

 

C-Store、Monet DBなどに続き、市場に出回った最初のメジャーなデータウェアハウスの1つです。

 

GoogleはDremelを次のように定義しています。

 

Dremelは、非常に大規模なデータセットに対してSQLライクなクエリを実行し、わずか数秒で正確な結果を得ることができるクエリサービスです。An Inside Look at Google BigQuery|Google Cloud

BigQueryの仕組み

BigQueryは、2つの特徴的な仕組みを持っています。

 

・カラム型データストア

一般的なデータベースがレコード指向(行指向)であるのに対し、BigQueryはカラム指向(列指向)のストレージです。

 

レコード指向では、レコード全体をスキャンする必要がありますが、カラム指向では必要なカラムのデータのみを取得することができ、類似データを圧縮することで高速な処理を実現します。

 

・ツリーアーキテクチャ

BigQueryのサーバー群はツリー構造になっており、この構造によって処理の分散や並列処理を実行しています。そのため、高速な処理を維持したままスケーラビリティも確保している点が大きな特長です。

BigQueryの料金

BigQueryで課金対象となるのは、「分析(クエリ)」と「ストレージ」の2種類です。

 

 

・分析料金

分析料金は、クエリの処理にかかる費用です。SQL クエリ、ユーザー定義関数、スクリプト、テーブルをスキャンする特定のデータ操作言語(DML)とデータ定義言語(DDL)のステートメントなどが含まれます。料金 | BigQuery

 

・ストレージ料金

ストレージ料金は、BigQuery に読み込むデータを保存する費用です。料金 | BigQuery

 

また、料金モデルは「オンデマンド」と「定額」の2種類があり、それぞれ料金体系は次のようになっています。

 

・オンデマンド料金

この料金モデルでは、各クエリによって処理されたバイト数に基づいて課金されます。処理されるクエリデータは毎月 1 TB まで無料です。料金 | BigQuery

 

BigQueryは、デフォルトではオンデマンド料金モデルにより請求されます。

 

オンデマンド料金の場合、データをBigQueryに保存するか、CloudStorage、CloudBigtableなどの外部データソースに保存するかに関係なく、処理されたバイト数に基づいて課金・請求されます。

 

2021年4月現在、東京におけるオンデマンドクエリの料金は、1TBあたり6米ドルです。

 

・定額料金

オンデマンド料金モデルではコストが読みにくくなるため、固定料金を希望するユーザー向けに定額料金モデルも用意されています。

 

この料金モデルでは、仮想 CPU であるスロットを購入します。スロットを購入すると、クエリの実行に使用できる専用の処理容量を購入したことになります。スロットは次のコミットメント プランで使用できます。

 

・Flex Slots: 最初の 60 秒分のコミットメントを購入します。

・月間: 最初の 30 日分のコミットメントを購入します。

・年間: 365 日分のコミットメントを購入します。

 

月間プランと年間プランでは、長期的な容量コミットメントと引き換えに割引が適用されます。料金 | BigQuery

BigQueryのメリット

BigQueryのメリットを解説します。BigQueryを導入することで得られるメリットは、主に次の通りです。

 

・高速な処理

・ANSI準拠の標準SQLを使用できる

・コストを削減できる

・サーバーレスだから担当者不要で運用できる

・ニーズに合わせてスケールできる

ひとつずつ見ていきましょう。

高速な処理

BigQueryは、カラム指向なデータストアとツリーアーキテクチャにより、高速な処理を実現しています。

 

これらの構造により、120億行の正規表現マッチ付き集計を数十秒で完了させます。

ANSI準拠の標準SQLを使用できる

BigQueryは、ANSI準拠の標準SQL(Standard SQL)に対応しているため、一般的なデータベースを操作するのと同じ感覚でクエリの発行や分析を行なうことが可能です。

コストを削減できる

BigQueryは類似サービスと比較して安価であり、オンデマンド料金モデルなどによりコスト削減を実現します。

 

ESG(Enterprise Strategy Group)のレポートによれば、

 

他サービスと比べて、大規模分析に伴う3年間のTCO(Total Cost of Ownership:システムの導入や維持管理にかかるコストの総額)を26%~34%削減できるThe Economic Advantages of Google BigQuery versus Alternative Cloud-based EDW Solutions(PDF)

 

とのことです。

 

サーバーレスだから担当者不要で運用できる

BigQueryはクラウドで提供されるフルマネージドのデータウェアハウスなので、オンプレミスなデータベースなどと異なり、オペレーション担当者が不要です。

ニーズに合わせてスケールできる

ツリーアーキテクチャにより処理の分散や並列処理を実行しているため、ニーズに応じてスケールアップやスケールダウン、スケールアウトなどが自在に行なえます。

BigQueryの活用事例

BigQueryの活用事例を紹介します。

オープンハウス:年間約4万2,000時間の工数削減

open house logo

不動産を取り扱う株式会社オープンハウスは、BigQueryを含むGoogle Cloud Platformを活用して業務改善した結果、年間約4万2,000時間の工数削減を見込んでいます。

 

具体的には、物件資料のオビ付けと呼ばれる業務を自動化したほか、機械学習による広告キャンペーンの評価などを実施。

 

分析基盤をBigQueryに統一することで、直接契約につながったか否かという観点で集客を評価できるようになったといいます。

 

参考:

株式会社オープンハウスの導入事例|Google Cloud

株式会社オープンハウス:業務改善による年間約 4 万 2,000 時間の工数削減に AI Platform 、BigQuery を活用|Google Cloud ブログ

アスタミューゼ:従来比200~300倍の高速化


astamuse logo

コンサルティング事業、人材・キャリア支援事業、知的情報プラットフォーム事業を展開するアスタミューゼ株式会社は、2億件近い非正規データを、BigQueryにより分析速度向上を実現しています。

 

従来は一般的なRDB(リレーショナルデータベース)と全文検索エンジンを用いてデータ分析を行なっていたのに対し、分析基盤をGoogle Cloud Platformに移行してBigQueryを利用するようになったところ、200~300倍高速化したとのことです。

 

参考:

アスタミューゼ株式会社の導入事例|Google Cloud

アスタミューゼ株式会社:2 億件近い非正規データを BigQuery で高速分析。コンサルティング事業 SaaS 化も視野に|Google Cloud ブログ

モノタロウ:扱えるデータ量が10倍に増大


monotaro logo

事業者向け間接資材のオンライン通販サイト「モノタロウ」を運営する株式会社MonotaRO は、BigQueryを駆使した新しいデータ分析基盤を構築することで、総計100億レコードに及ぶデータの活用を推進しています。

 

それまでオンプレミス環境で保持していたデータをBigQueryに移行することで、扱えるデータ量が10倍に、生み出される分析レポート数も10倍に、そしてデータ分析に取り組むメンバー数が4倍に拡大したとのこと。

 

数億ものレコードを対象とするため、従来はデータ分析に約2時間かかっていました。同様の処理を、BigQuery移行後は2~3分で終了できるようになり、それまで毎月30程度だった分析レポート数が、月に300レポートまで増大しました。

 

参考:

株式会社MonotaROの導入事例|Google Cloud

株式会社MonotaRO の導入事例:BigQuery を駆使した新しいデータ分析基盤構築で、全社的にさらなるデータ活用を推進|Google Cloud ブログ

LIXIL:直観的な操作で非エンジニアでも分析が可能に


lixil logo

建材・設備機器の製造、販売を行うLIXILは、BigQueryを中心に構築したプライベートDMPの導入により、ユーザー分析の精度を向上させました。

 

デイリーレポートを自動化することによって業務効率化しただけでなく、直観的な操作性により非エンジニアでも分析が可能に。新入社員でも半年ほどで使いこなせるようになるとのことです。

 

参考:

株式会社LIXILの導入事例|Google Cloud

株式会社LIXIL の導入事例:BigQuery を中心に構築したプライベート DMP でリアル来客も含めたお客さまの行動を分析・活用|Google Cloud ブログ

アスクル:データ蓄積量5倍、データ利用量10倍に


askul-logo

法人向け事務用品通販サービスを展開するアスクル株式会社は、BigQueryを含む各種Google Cloud Platformプロダクトを駆使し、マーケティングプラットフォーム「ASKUL EARTH」を構築しています。

 

同社の小池氏は、GCPのメリットとして「エンジニア好みの進化をするプラットフォームである」点を挙げている一方で、「エンジニア以外のデータ利活用も明確に加速しています」と言及。

 

1年間で、データの蓄積量が5倍に増えたのに対し、データ利用量は10倍に増えたとのことです。

 

参考:

アスクル株式会社の導入事例|Google Cloud

アスクル株式会社の導入事例:BigQuery から Partner Interconnect まで、各種 GCP プロダクトを駆使して次世代マーケティング プラットフォーム『ASKUL EARTH』を構築|Google Cloud ブログ

JapanTaxi:2名のエンジニアで分析基盤を運用


japan taxi logo

JapanTaxi株式会社は、タクシー配車アプリ「JapanTaxi」のデータ分析基盤を、BigQuery を活用して構築しました。

 

BigQueryを導入した結果、従来の仕組みで発生していたアドホック分析時の待ち時間が減少したそう。

 

フルマネージドなため、メンテナンスなど維持管理の手間を考える必要がなく、2名のエンジニアで分岐基盤を運用できているとのことです。

 

参考:

JapanTaxi株式会社の導入事例|Google Cloud

JapanTaxi株式会社の導入事例:BigQuery を活用して、国内最大級のタクシー配車アプリ『JapanTaxi』を支えるデータ分析基盤を構築|Google Cloud ブログ

ソニーネットワークコミュニケーションズ:GCP導入により本質的なデータ運用を実現


sony network communications logo

ソニーネットワークコミュニケーションズ株式会社は、BigQueryを中心とした各種Google Cloud Platformプロダクトを導入することで、データ分析にかかる煩雑な業務を削減しました。

 

それまで、作業時間の大半がデータの集計、変換、加工といった前準備に費やされていましたが、BigQueryを中心に、Cloud Dataflow・Cloud Pub/Sub・Cloud Datalab・Cloud Machine LearningといったGoogle Cloud Platformの各種テクノロジーを駆使してデータ分析基盤を構築したところ、本質的なデータ運用ができるようになったといいます。

 

参考:

ソニーネットワークコミュニケーションズ株式会社の導入事例動画: BigQuery の導入で煩雑な業務から解放、運用にパラダイムシフトを|Google Cloud ブログ

GMOアドマーケティング:PDCAサイクルを大幅に短縮


gmo ad marketing logo

 

GMOインターネット株式会社・GMOアドマーケティング株式会社は、BigQueriを含むGoogle Cloud Platformの各種プロダクトを導入することで、ビジネスに大きなインパクトを与えることに成功しています。

 

従来かかっていた分析の時間が短縮されることで、PDCAサイクルの大幅短縮につながりました。GCPの使いやすさや費用面、リソース面でも利点があったと語ります。

 

参考:

GMOインターネット株式会社・GMOアドマーケティング株式会社の導入事例動画 : GCP の導入で 運用の手間など PDCA サイクルを大幅に短縮し、ビジネスに非常に大きなインパクトを与えることに成功|Google Cloud ブログ

gloops:BigQueryへの移行によりコストを100分の1に


gloops logo

モバイル向けゲームの開発・運営を行なう株式会社gloopsは、行動データなどのログ解析をBigQueryに移行することで、それまでかかっていたコストを100分の1程度まで抑えることに成功。

 

コスト面以外にも、動作速度の劇的な向上により、これまで20分かかっていた処理が数秒で終わるようになりました。

 

こうした改善を受けて今後は、現在オンプレミスのサーバーを使って構築しているアクセスログのリアルタイム可視化システムを、クラウドに全面移行しようといった動きも出てきているとのことです。

 

参考:

株式会社 gloops の導入事例: ログ解析を Google BigQuery に移行してコストを 1/100 に。|Google Cloud Platform Japan Blog

True Data:従来の10倍以上の効率でデータ分析を進められるように


true data logo

スーパーマーケットやドラッグストアにおける購買情報をもとに、データマーケティングサービスを提供する株式会社True Dataは、より効率的なデータ分析を提供するため、オンプレミスの社内システムをBigQueryへ移行しました。

 

同社の保有する約5,000万人の20~30億件に及ぶ購買データに対し、迅速に分析を行なううえでスピードは必要不可欠であり、多くの選択肢との比較検討の末にBigQueryへの移行を決定。

 

その結果、スピードが速くなったのに加え、データの集約も手軽になり使い勝手は劇的に改善し、従来の10倍以上の効率で作業を進められるようになったとのことです。

 

同社では、最終的に営業チームも含めた全てのスタッフがBigQueryを使えるようになることを目標として掲げています。

 

参考:

株式会社True Data の導入事例: BigQuery の導入で業務効率を 10×10×10=1000 倍に?|Google Cloud Platform Japan Blog

プレイド:インフラコストを抑えつつ安定的に高いパフォーマンスが出せるように


plaid logo

Webサービス「カルテ」を提供する株式会社プレイドは、限られたリソースを最大限有効活用するため、BigQueryを始めとするGoogle Cloud Platformへの移行を決断しました。

 

GCPの導入により、インフラコストを抑えつつ安定的に高いパフォーマンスが出せるようになったほか、BigQueryにより、処理の難しいクエリもレスポンスタイムを落とすことなく高速に処理できるようになったそうです。

 

参考:

株式会社プレイドの導入事例動画:インフラコストを大幅に抑えつつ、安定的で高いパフォーマンスを実現|Google Cloud ブログ

グラニ:本格的なデータ分析活用のきっかけに


grani logo

ソーシャルゲームを開発・運営する株式会社グラニは、まずはじめに、障害時やサービスのレスポンスタイムが悪くなっているときの原因分析のためにBigQueryを導入しました。

 

従来使っていたログ解析サービスはクエリの文法が特殊なもので、社内でも扱える人が少ないことが悩みでした。その点BigQueryは標準SQLに対応しているため、すぐ使い始められる点が大きな強みに。

 

これまではデータ分析にかけるコストは最小限に留める方針でしたが、BigQueryの導入以後はデータ分析にかかるコストが下がったこともあり、本格的にデータ分析を活用したい意向です。

 

参考:

株式会社グラニの Google Cloud Platform 導入事例: 「using CSharp;」という軸と BigQuery の活用で、先進性を求め続ける。|Google Cloud Platform Japan Blog

マネーフォワード:PMFサービスにおける大量のログ解析の効率化を実現


money forward logo

個人向け・ビジネス向けの家計簿サービスを提供・展開する株式会社マネーフォワードは、BigQueryの導入により、ログ解析の効率化とコスト削減を実現しました。

 

BigQueryを始めとするGoogle Cloud Platformを導入した効果について、「PFM サービスは、1 日あたり 4,000 万件程度のログがアップロードされるので、この大量のログを検索したり、解析したりする場合、BigQuery は他社のサービスに比べて高速、かつ、安価に利用できます。」と語っています。

 

参考:

マネーフォワードの Fintech サービスを GCP が強力にサポート。BigQuery と GCS でログ解析の効率化とコスト削減を実現。|Google Cloud ブログ

エウレカ:BigQueryを駆使した分析によりSLO99.95%を達成


eureka logo

恋愛・婚活マッチング サービス「Pairs」を運営する株式会社エウレカは、Google Cloud Platformを活用し、ユーザー数の増加に伴って拡大するログに耐え得るシステムモニタリング環境を構築しました。

 

同社では早期からSREチームを組織し、SLO99.95%という具体的な目標を置き、BigQueryを駆使した分析・活用によりエラーやビジネス上の障害を徹底的に排除。

 

取り組みの結果、現在はSLO99.95%の目標を達成し、それを維持しているとのことです。

 

参考:

株式会社エウレカの導入事例:Stackdriver Logging でのログ監視や、BigQuery を駆使した分析・活用などにより、SLO 99.95% を達成|Google Cloud ブログ

K4 Digital:年間数千億レコードのビッグデータを処理


K4 Digital logo

関西電力のグループ会社の一つであるK4 Digital株式会社は、DX推進に先駆けてGoogle Cloud Platformを採用し、BigQueryを中心とした分析基盤を構築します。

 

関西電力では年間数千億レコードが発生しており、これらの大量のデータを経済的かつスピーディーに処理するために、新しいデータ分析基盤の構築は不可欠なアプローチでした。

 

BigQueryを使った分析基盤の紹介や、分析のしやすさを広めることで、データドリブンな会社へ移っていくことを目指すとのことです。

 

参考:

K4 Digital株式会社様の導入事例動画:デジタル トランスフォーメーション推進に変化に強く柔軟な GCP を採用。BigQuery を中心とした GCP プロダクトを活用した新しい基盤を構築|Google Cloud ブログ

BigQueryを導入・活用する際の注意点

BigQueryの導入・活用を検討するうえでの注意点は主に1点で、「適切な設計と利用をしないとかえってコストがかさむ」という点です。

 

ここまで紹介した通り、BigQueryは圧倒的なスピードとコストの安さにより、多くの企業にとってベストプラクティスとなり得るサービスと言えるでしょう。

 

しかし、BigQueryの利用が適切でないケースも存在します。いかなる場合においてもBigQueryが最適解となり得るわけではありませんので、注意しましょう。

 

BigQueryは、細かい時間枠で大きなチャンクをクエリするニッチなビジネス・ワークロードの処理や、データ・サイエンティストやML/データ・マイニングなどに最適です。

 

また、「BigQueryは導入・活用したいがコストも抑えたい」という場合は、パーティショニングやクエリデータ量の上限設定、定額モデルへの切替などによってコストを管理するとともに、その他のサービスの使用も合わせて検討すると良いでしょう。

データ分析環境構築の詳細はこちら

BigQueryをはじめとするデータ分析環境構築の詳細については、弊社サービスページも合わせてご確認ください。