この記事では、Google BigQueryの概要から、導入するメリットや導入事例、導入を検討する上で注意すべきポイントまでを解説します。
まずBigQueryの概要を説明します。
BigQueryは、Google Cloud Platform（GCP）で提供される、サーバーレスでスケーラビリティと費用対効果に優れたマルチクラウドデータウェアハウスです。
超高速な処理が特徴で、120億行の正規表現マッチ付き集計を数十秒で完了させます。ログ解析・業務効率化・リアルタイム分析といったデータ分析業務に欠かせないツールです。
もともと、Googleが社内用に開発した「Dremel（ドレメル）」という大規模なクエリを実行するサービスを、外部ユーザー向けに利用できるようにしたもので、2006年に社内運用を開始し、2012年にBigQueryとしてリリースされました。
C-Store、Monet DBなどに続き、市場に出回った最初のメジャーなデータウェアハウスの1つです。
GoogleはDremelを次のように定義しています。
BigQueryは、2つの特徴的な仕組みを持っています。
・カラム型データストア
一般的なデータベースがレコード指向（行指向）であるのに対し、BigQueryはカラム指向（列指向）のストレージです。
レコード指向では、レコード全体をスキャンする必要がありますが、カラム指向では必要なカラムのデータのみを取得することができ、類似データを圧縮することで高速な処理を実現します。
・ツリーアーキテクチャ
BigQueryのサーバー群はツリー構造になっており、この構造によって処理の分散や並列処理を実行しています。そのため、高速な処理を維持したままスケーラビリティも確保している点が大きな特長です。
BigQueryで課金対象となるのは、「分析（クエリ）」と「ストレージ」の2種類です。
・分析料金
・ストレージ料金
また、料金モデルは「オンデマンド」と「定額」の2種類があり、それぞれ料金体系は次のようになっています。
・オンデマンド料金
BigQueryは、デフォルトではオンデマンド料金モデルにより請求されます。
オンデマンド料金の場合、データをBigQueryに保存するか、CloudStorage、CloudBigtableなどの外部データソースに保存するかに関係なく、処理されたバイト数に基づいて課金・請求されます。
2021年4月現在、東京におけるオンデマンドクエリの料金は、1TBあたり6米ドルです。
・定額料金
オンデマンド料金モデルではコストが読みにくくなるため、固定料金を希望するユーザー向けに定額料金モデルも用意されています。
・Flex Slots: 最初の 60 秒分のコミットメントを購入します。
・月間: 最初の 30 日分のコミットメントを購入します。
・年間: 365 日分のコミットメントを購入します。
月間プランと年間プランでは、長期的な容量コミットメントと引き換えに割引が適用されます。料金 | BigQuery
BigQueryのメリットを解説します。BigQueryを導入することで得られるメリットは、主に次の通りです。
・ANSI準拠の標準SQLを使用できる
・コストを削減できる
・サーバーレスだから担当者不要で運用できる
・ニーズに合わせてスケールできる
ひとつずつ見ていきましょう。
BigQueryは、カラム指向なデータストアとツリーアーキテクチャにより、高速な処理を実現しています。
これらの構造により、120億行の正規表現マッチ付き集計を数十秒で完了させます。
BigQueryは、ANSI準拠の標準SQL（Standard SQL）に対応しているため、一般的なデータベースを操作するのと同じ感覚でクエリの発行や分析を行なうことが可能です。
BigQueryは類似サービスと比較して安価であり、オンデマンド料金モデルなどによりコスト削減を実現します。
ESG（Enterprise Strategy Group）のレポートによれば、
とのことです。
BigQueryはクラウドで提供されるフルマネージドのデータウェアハウスなので、オンプレミスなデータベースなどと異なり、オペレーション担当者が不要です。
ツリーアーキテクチャにより処理の分散や並列処理を実行しているため、ニーズに応じてスケールアップやスケールダウン、スケールアウトなどが自在に行なえます。
BigQueryの活用事例を紹介します。
不動産を取り扱う株式会社オープンハウスは、BigQueryを含むGoogle Cloud Platformを活用して業務改善した結果、年間約4万2,000時間の工数削減を見込んでいます。
具体的には、物件資料のオビ付けと呼ばれる業務を自動化したほか、機械学習による広告キャンペーンの評価などを実施。
分析基盤をBigQueryに統一することで、直接契約につながったか否かという観点で集客を評価できるようになったといいます。
参考：
株式会社オープンハウス：業務改善による年間約 4 万 2,000 時間の工数削減に AI Platform 、BigQuery を活用｜Google Cloud ブログ
コンサルティング事業、人材・キャリア支援事業、知的情報プラットフォーム事業を展開するアスタミューゼ株式会社は、2億件近い非正規データを、BigQueryにより分析速度向上を実現しています。
従来は一般的なRDB（リレーショナルデータベース）と全文検索エンジンを用いてデータ分析を行なっていたのに対し、分析基盤をGoogle Cloud Platformに移行してBigQueryを利用するようになったところ、200～300倍高速化したとのことです。
参考：
アスタミューゼ株式会社：2 億件近い非正規データを BigQuery で高速分析。コンサルティング事業 SaaS 化も視野に｜Google Cloud ブログ
事業者向け間接資材のオンライン通販サイト「モノタロウ」を運営する株式会社MonotaRO は、BigQueryを駆使した新しいデータ分析基盤を構築することで、総計100億レコードに及ぶデータの活用を推進しています。
それまでオンプレミス環境で保持していたデータをBigQueryに移行することで、扱えるデータ量が10倍に、生み出される分析レポート数も10倍に、そしてデータ分析に取り組むメンバー数が4倍に拡大したとのこと。
数億ものレコードを対象とするため、従来はデータ分析に約2時間かかっていました。同様の処理を、BigQuery移行後は2～3分で終了できるようになり、それまで毎月30程度だった分析レポート数が、月に300レポートまで増大しました。
参考：
株式会社MonotaROの導入事例｜Google Cloud
株式会社MonotaRO の導入事例：BigQuery を駆使した新しいデータ分析基盤構築で、全社的にさらなるデータ活用を推進｜Google Cloud ブログ
建材・設備機器の製造、販売を行うLIXILは、BigQueryを中心に構築したプライベートDMPの導入により、ユーザー分析の精度を向上させました。
デイリーレポートを自動化することによって業務効率化しただけでなく、直観的な操作性により非エンジニアでも分析が可能に。新入社員でも半年ほどで使いこなせるようになるとのことです。
参考：
株式会社LIXIL の導入事例：BigQuery を中心に構築したプライベート DMP でリアル来客も含めたお客さまの行動を分析・活用｜Google Cloud ブログ
法人向け事務用品通販サービスを展開するアスクル株式会社は、BigQueryを含む各種Google Cloud Platformプロダクトを駆使し、マーケティングプラットフォーム「ASKUL EARTH」を構築しています。
同社の小池氏は、GCPのメリットとして「エンジニア好みの進化をするプラットフォームである」点を挙げている一方で、「エンジニア以外のデータ利活用も明確に加速しています」と言及。
1年間で、データの蓄積量が5倍に増えたのに対し、データ利用量は10倍に増えたとのことです。
参考：
JapanTaxi株式会社は、タクシー配車アプリ「JapanTaxi」のデータ分析基盤を、BigQuery を活用して構築しました。
BigQueryを導入した結果、従来の仕組みで発生していたアドホック分析時の待ち時間が減少したそう。
フルマネージドなため、メンテナンスなど維持管理の手間を考える必要がなく、2名のエンジニアで分岐基盤を運用できているとのことです。
参考：
JapanTaxi株式会社の導入事例｜Google Cloud
JapanTaxi株式会社の導入事例：BigQuery を活用して、国内最大級のタクシー配車アプリ『JapanTaxi』を支えるデータ分析基盤を構築｜Google Cloud ブログ
ソニーネットワークコミュニケーションズ株式会社は、BigQueryを中心とした各種Google Cloud Platformプロダクトを導入することで、データ分析にかかる煩雑な業務を削減しました。
それまで、作業時間の大半がデータの集計、変換、加工といった前準備に費やされていましたが、BigQueryを中心に、Cloud Dataflow・Cloud Pub/Sub・Cloud Datalab・Cloud Machine LearningといったGoogle Cloud Platformの各種テクノロジーを駆使してデータ分析基盤を構築したところ、本質的なデータ運用ができるようになったといいます。
参考：
ソニーネットワークコミュニケーションズ株式会社の導入事例動画： BigQuery の導入で煩雑な業務から解放、運用にパラダイムシフトを｜Google Cloud ブログ
GMOインターネット株式会社・GMOアドマーケティング株式会社は、BigQueriを含むGoogle Cloud Platformの各種プロダクトを導入することで、ビジネスに大きなインパクトを与えることに成功しています。
従来かかっていた分析の時間が短縮されることで、PDCAサイクルの大幅短縮につながりました。GCPの使いやすさや費用面、リソース面でも利点があったと語ります。
参考：
モバイル向けゲームの開発・運営を行なう株式会社gloopsは、行動データなどのログ解析をBigQueryに移行することで、それまでかかっていたコストを100分の1程度まで抑えることに成功。
コスト面以外にも、動作速度の劇的な向上により、これまで20分かかっていた処理が数秒で終わるようになりました。
こうした改善を受けて今後は、現在オンプレミスのサーバーを使って構築しているアクセスログのリアルタイム可視化システムを、クラウドに全面移行しようといった動きも出てきているとのことです。
参考：
株式会社 gloops の導入事例： ログ解析を Google BigQuery に移行してコストを 1/100 に。｜Google Cloud Platform Japan Blog
スーパーマーケットやドラッグストアにおける購買情報をもとに、データマーケティングサービスを提供する株式会社True Dataは、より効率的なデータ分析を提供するため、オンプレミスの社内システムをBigQueryへ移行しました。
同社の保有する約5,000万人の20～30億件に及ぶ購買データに対し、迅速に分析を行なううえでスピードは必要不可欠であり、多くの選択肢との比較検討の末にBigQueryへの移行を決定。
その結果、スピードが速くなったのに加え、データの集約も手軽になり使い勝手は劇的に改善し、従来の10倍以上の効率で作業を進められるようになったとのことです。
同社では、最終的に営業チームも含めた全てのスタッフがBigQueryを使えるようになることを目標として掲げています。
参考：
株式会社True Data の導入事例: BigQuery の導入で業務効率を 10×10×10＝1000 倍に?｜Google Cloud Platform Japan Blog
Webサービス「カルテ」を提供する株式会社プレイドは、限られたリソースを最大限有効活用するため、BigQueryを始めとするGoogle Cloud Platformへの移行を決断しました。
GCPの導入により、インフラコストを抑えつつ安定的に高いパフォーマンスが出せるようになったほか、BigQueryにより、処理の難しいクエリもレスポンスタイムを落とすことなく高速に処理できるようになったそうです。
参考：
株式会社プレイドの導入事例動画：インフラコストを大幅に抑えつつ、安定的で高いパフォーマンスを実現｜Google Cloud ブログ
ソーシャルゲームを開発・運営する株式会社グラニは、まずはじめに、障害時やサービスのレスポンスタイムが悪くなっているときの原因分析のためにBigQueryを導入しました。
従来使っていたログ解析サービスはクエリの文法が特殊なもので、社内でも扱える人が少ないことが悩みでした。その点BigQueryは標準SQLに対応しているため、すぐ使い始められる点が大きな強みに。
これまではデータ分析にかけるコストは最小限に留める方針でしたが、BigQueryの導入以後はデータ分析にかかるコストが下がったこともあり、本格的にデータ分析を活用したい意向です。
参考：
個人向け・ビジネス向けの家計簿サービスを提供・展開する株式会社マネーフォワードは、BigQueryの導入により、ログ解析の効率化とコスト削減を実現しました。
BigQueryを始めとするGoogle Cloud Platformを導入した効果について、「PFM サービスは、1 日あたり 4,000 万件程度のログがアップロードされるので、この大量のログを検索したり、解析したりする場合、BigQuery は他社のサービスに比べて高速、かつ、安価に利用できます。」と語っています。
参考：
マネーフォワードの Fintech サービスを GCP が強力にサポート。BigQuery と GCS でログ解析の効率化とコスト削減を実現。｜Google Cloud ブログ
恋愛・婚活マッチング サービス「Pairs」を運営する株式会社エウレカは、Google Cloud Platformを活用し、ユーザー数の増加に伴って拡大するログに耐え得るシステムモニタリング環境を構築しました。
同社では早期からSREチームを組織し、SLO99.95％という具体的な目標を置き、BigQueryを駆使した分析・活用によりエラーやビジネス上の障害を徹底的に排除。
取り組みの結果、現在はSLO99.95％の目標を達成し、それを維持しているとのことです。
参考：
株式会社エウレカの導入事例：Stackdriver Logging でのログ監視や、BigQuery を駆使した分析・活用などにより、SLO 99.95% を達成｜Google Cloud ブログ
関西電力のグループ会社の一つであるK4 Digital株式会社は、DX推進に先駆けてGoogle Cloud Platformを採用し、BigQueryを中心とした分析基盤を構築します。
関西電力では年間数千億レコードが発生しており、これらの大量のデータを経済的かつスピーディーに処理するために、新しいデータ分析基盤の構築は不可欠なアプローチでした。
BigQueryを使った分析基盤の紹介や、分析のしやすさを広めることで、データドリブンな会社へ移っていくことを目指すとのことです。
参考：
BigQueryの導入・活用を検討するうえでの注意点は主に1点で、「適切な設計と利用をしないとかえってコストがかさむ」という点です。
ここまで紹介した通り、BigQueryは圧倒的なスピードとコストの安さにより、多くの企業にとってベストプラクティスとなり得るサービスと言えるでしょう。
しかし、BigQueryの利用が適切でないケースも存在します。いかなる場合においてもBigQueryが最適解となり得るわけではありませんので、注意しましょう。
BigQueryは、細かい時間枠で大きなチャンクをクエリするニッチなビジネス・ワークロードの処理や、データ・サイエンティストやML/データ・マイニングなどに最適です。
また、「BigQueryは導入・活用したいがコストも抑えたい」という場合は、パーティショニングやクエリデータ量の上限設定、定額モデルへの切替などによってコストを管理するとともに、その他のサービスの使用も合わせて検討すると良いでしょう。
BigQueryをはじめとするデータ分析環境構築の詳細については、弊社サービスページも合わせてご確認ください。
2021年5月14日
サービスに関するお問い合わせ
マクロセンドはこれまで、様々な業界のあらゆる課題を柔軟に解決してまいりました。
これまでに弊社が蓄積した知見・技術をもとに、お客様に寄り添ったご提案をさせていただきます。
