ビッグデータ

ビッグデータとは

ビッグデータとは、従来の方法では合理的に処理・分析することが困難な、極めて大規模なデータセットを指します。

ビッグデータは、構造化データ、非構造化データ、半構造化データから構成されます。また、正式には、容量（Volume）、速度（Velocity）、多様性（Variety）、真実性（Veracity）、価値（Value）の5つのVによって特徴付けられます。

容量（Volume）：テラバイト、ペタバイト、エクサバイトのデータを含むデータセットの巨大な規模とサイズ
速度（Velocity）：大量の新しいデータが生成される高い速度
多様性（Variety）：生成されるデータの種類や形式の幅広さ
真実性（Veracity）：極めて大規模なデータセットに含まれるデータの品質と安全性
価値（Value）：データを実用的な洞察に変える能力

ビッグデータの具体例

ビッグデータは、異なる業界や領域にわたる多種多様なソースからもたらされます。以下に、大規模データセットのソースとそのデータの種類の例を挙げます。

種類	説明
顧客データ	顧客プロファイル、販売記録、顧客とのやり取りなど、CRMシステムを通じて収集されたデータ
Eコマース取引	顧客の注文、商品詳細、支払情報、顧客レビューなど、オンライン小売プラットフォームから生成されたデータ
金融取引	銀行システム、クレジットカード取引、株式市場、その他の金融プラットフォームから得られるデータ
政府・公共データ	政府機関が提供するデータ、国勢調査データ、公共交通機関データ、気象データなど
健康・医療記録	電子カルテ（EHR）、医療画像、ウェアラブル健康機器、臨床試験、患者監視システムから得られるデータ
IoT（モノのインターネット）デバイス	スマートセンサー、スマート家電、ウェアラブルデバイス、コネクテッドカーなど、様々なIoTデバイスから収集されたデータ
研究・科学データ	研究実験、学術研究、科学的観察、デジタル・ツイン、シミュレーション、ゲノム配列解析から得られるデータ
センサネットワーク	環境センサー、産業機械、交通監視システム、その他の無線センサネットワークから収集されたデータ
ソーシャルメディアプラットフォーム	Facebook、Twitter、Instagram、LinkedInなどのソーシャルメディア・プラットフォームから生成されたデータ（投稿、コメント、「いいね！」、シェア、ユーザー・プロフィールなど）
Webおよびモバイルアプリケーション	クリック、ページビュー、ユーザー行動など、ユーザーがWebサイト、モバイルアプリ、オンラインサービスとやりとりする際に生成されるデータ

ビッグデータの重要性

ビッグデータが重要なのは、データ主導の意思決定に利用できるパターン、傾向、その他の洞察を明らかにできる潜在能力があるためです。

ビジネスの観点からは、ビッグデータは組織の業務効率を向上させ、リソースを最適化するのに役立ちます。例えば、大規模なデータセットを集約し、それを使って顧客行動や市場動向を分析することで、eコマース・ビジネスは、顧客満足度やロイヤルティの向上、ひいては収益を向上させる意思決定を行うことができます。

大規模なデータセットを保存・処理できるオープンソースツールの進歩により、ビッグデータ分析が大幅に改善されました。例えば、Apacheのコミュニティは、新規参入者がビッグデータを使用して現実世界の問題を解決することを容易にしていると評価されています。

ビッグデータの種類

ビッグデータは、構造化データ、非構造化データ、半構造化データの3種類に分類することができます。

構造化ビッグデータ：高度に整理され、あらかじめ定義されたスキームや形式に従っています。通常、スプレッドシートやリレーショナルデータベースに格納されます。各データ要素には特定のデータタイプがあり、事前に定義されたフィールドやテーブルに関連付けられています。構造化データは一貫性と均一性を持ち、従来のデータベース管理システムを使った照会、分析、処理が容易になります。
非構造化ビッグデータ：事前に定義された構造を持たず、異なるデータエンティティ間に明確な関係が確立されている場合もあれば、確立されていない場合もある。非構造化データ内のパターン、感情、関係、関連情報を特定するには、通常、自然言語処理（NLP）、自然言語理解（NLU）、コンピューター・ビジョンなどの高度なAIツールが必要となります。
半構造化ビッグデータ：構造化データと非構造化データの両方の要素を含みます。XMLやJSONファイルなどの部分的な組織構造を持ち、ログファイル、タイムスタンプ付きセンサーデータ、メタデータを含むこともあります。

ほとんどの場合、組織のデータは3つのデータタイプが混在しています。例えば、eコマースベンダーの大規模なデータセットには、顧客の人口統計や取引記録から得られる構造化データ、ソーシャルメディア上の顧客フィードバックから得られる非構造化データ、社内メールコミュニケーションから得られる半構造化データが含まれることがあります。

ビッグデータの問題点

ビッグデータの進化は、今世紀が始まって以来、紆余曲折の連続でした。

当初、インターネット上で生成される膨大なデータに関する最大の問題の一つは、従来のデータベース管理システムが、デジタル化によって企業が生成する膨大な量のデータを保存するように設計されていなかったことでした。

同時期に、データの多様性も大きな課題となりました。従来の構造化データに加えて、ソーシャルメディアやIoTにより、半構造化データと非構造化データが混在するようになったためです。その結果、企業はこれらの多様なデータタイプを効率的に処理・分析する方法を見つける必要が出てきました。

また、データ量が増加するにつれて、不正確な情報、一貫性のない情報、そして不完全な情報の量も増加し、データ管理の大きな障害となりました。

大規模なデータセットの新しい活用法が出現すると、データプライバシーや情報セキュリティに関して新たな疑問が次々と浮かび上がりました。組織は、どのようなデータを集め、どのようにそれを保護し、どのように使用しているのかについて、もっと明確に説明する必要が出てきました。

通常、データ分析のためには、異なるデータタイプを一定の形式にまとめる必要があります。大規模な半構造化データセットに含まれる多様なデータタイプと形式は、データ統合、分析、解釈をより困難にしています。

例えば、企業は従来のリレーショナル・データベース（構造化データ）のデータと、ソーシャルメディアの投稿からかき集めたデータ（非構造化データ）を混合する必要があるかもしれません。これら2種類のデータを、分析に使用できる統一された形式に変換するプロセスは、時間がかかり、技術的に困難な場合があります。

機械学習と人工知能（AI）の技術が進化して、様々な問題をクリアできるようになりましたが、これらの技術自体が持つ問題点も少なくありません。

ビッグデータと人工知能（AI）

ビッグデータは、生成AIのような人工知能（AI）の進歩と密接に結びついています。最近まで、AIモデルは膨大な量の学習データからパターンを検出し正確な予測を行う方法を学習する必要があったためです。

過去には、「Big data is for machines. Small data is for people.（ビッグデータは機械のためのもの。小さなデータは人々のためのもの。）」という格言が、ビッグデータとスモールデータの違いを説明するためによく使われましたが、もはやその例えは通用しません。AIや機械学習の技術が進化し続ける中、特にビッグデータセットの集計や管理に時間とコストがかかる状況では、一部のAIや機械学習モデルを訓練するためにビッグデータが必要になる場合は減少しています。

実世界でモデルが出会う可能性のある全てのクラスや概念に関して、大量のデータを集めるのは実際には不可能です。そのため、大量のデータを使ってモデルを事前に学習させ、小さなデータセットを使って細かな調整を行う方法が一般的に採られます。

ビッグデータから、AIや機械学習モデルの学習に小さなデータを使用する方向へのシフトは、転移学習や zero-shot、one-shot、そしてfew-shotの学習モデルの開発など、いくつかの技術的進歩によって推進されています。