たとえるなら
全国のお店のレジの記録が、休みなく流れ込んでくる様子を想像してください。1枚のレシートはただのメモですが、山のように集まると「雨の日はこの商品が売れる」といった、1枚だけでは絶対に見えない発見が眠った宝の山になります。
もう少しくわしく
ビッグデータは、従来のデータベースや表計算ソフトでは処理しきれないほど大規模なデータを指す言葉です。特徴は量だけではありません。文章・画像・位置情報・センサーの記録など種類が多様であること、そして毎秒絶え間なく発生し続けること。この3つが揃うのがビッグデータの典型です。
使い道は身近なところにあふれています。コンビニが天気と売上の関係から品揃えを変える、動画サービスが視聴履歴からおすすめを出す、地図アプリが走行データから渋滞を予測する——どれもビッグデータの分析です。中身も、表にきれいに収まる売上データばかりではなく、問い合わせの文章や写真のように表に収まらないデータが多く含まれるのが特徴です。
混同しやすいのがデータベースとの違いです。データベースはデータをしまっておく入れ物のしくみ、ビッグデータは扱いにくい規模まで膨らんだデータそのものを指します。また、AI・機械学習との関係もよく聞かれますが、こちらは材料と道具の関係です。大量のデータが材料としてあり、そこから規則性を見つける道具が機械学習、と考えると整理できます。
実務の流れは、集める・ためる・整える・分析する・共有する、の順です。アプリやサーバーの記録を集め、クラウドの保管場所にため、欠けている値や重複を掃除して分析できる形に整え、ようやく傾向を読み取る。最後にダッシュボードなどで関係者が見られるようにします。この中でいちばん時間がかかるのは、地味な「整える」工程だとよく言われます。
よくある失敗は、目的を決めないまま集めることです。「いつか使うかもしれない」とためたデータは、たいてい使われないまま保管費用だけがかかります。もうひとつ重いのが個人情報の扱いで、集めた時点の説明と違う使い方をしたり、社外に持ち出したりすると大きな問題になります。何のために、どこまで使ってよいデータなのかは、分析を始める前に確認が必要です。
非エンジニアの方が分析を頼むときは、知りたいことと、それを何に使うのかをセットで伝えると話が早く進みます。「データをください」だけだと、どの期間の、誰を対象にした、どの数字なのかが分からず、何度もやりとりが往復します。また、受け取ったデータを個人のパソコンやクラウドに勝手に保存しないことも、新人のうちに身につけておきたい習慣です。
最後に、言葉に振り回されないことも大切です。ビッグデータは会議で大きく響く言葉ですが、実際に取り組むことの多くは「すでにたまっているログを、ちゃんと見られるようにする」という地に足のついた作業です。規模の大小より、何を判断したいのかが先に決まっていれば、少ないデータでも十分に役立ちます。
現場での使われ方
「うちもビッグデータを活用していこう」
経営会議などでよく出る言葉。実際の中身は「集めたデータをきちんと分析して、サービスや経営判断に活かそう」という提案です。
「ログはためてありますが、分析はこれからです」
データは保存できているものの、傾向を読み取る作業には着手できていない、という状況説明です。実際の現場ではよくある状態です。
「そのデータ、個人が特定できる情報は落としてありますか？」
氏名やメールアドレスなど、個人を特定できる項目を取り除いてあるかの確認です。分析に回す前の基本の手続きとして聞かれます。
「全件でなくていいので、まず傾向だけ見せてください」
すべてのデータを処理するには時間がかかるため、一部を抜き出して先に傾向をつかもう、という進め方の提案です。
よくある質問
どのくらいの量からビッグデータと呼びますか？
何件以上という明確な線引きはありません。量・種類・発生する速さの面で、従来の道具では扱いにくい規模になったとき、ビッグデータと呼ばれるのが一般的です。同じ量でも、扱う会社の設備によって「大きい」と感じる基準は変わります。
ビッグデータとデータベースは何が違うのですか？
データベースはデータをしまって取り出すためのしくみ、ビッグデータは扱いにくい規模まで膨らんだデータそのものを指します。比べる対象というより、ビッグデータを保管したり処理したりする道具のひとつがデータベース、という関係です。
ビッグデータとAIはどう関係していますか？
材料と道具の関係です。大量のデータがあるからこそ、そこから規則性を見つける機械学習が力を発揮します。逆にデータが少なかったり偏っていたりすると、AIの判断も偏ります。「AIを入れたい」という話が出たら、学習させるデータがあるかどうかが最初の論点になります。
ビッグデータを扱う仕事にはどんなものがありますか？
データを集めて整える基盤を作るデータエンジニア、分析して意味を読み取るデータサイエンティストやデータアナリストなどがあります。どの仕事でもSQLやデータベースの知識が土台になります。分析の前段にある「整える」工程を担う人がいて初めて成り立つ仕事です。
データを分析するとき、個人情報で気をつけることは何ですか？
集めるときに利用者へ説明した目的の範囲で使うこと、氏名やメールアドレスなど個人を特定できる項目は分析前に取り除くこと、社外への持ち出しや個人の端末への保存をしないことが基本です。具体的な取り扱いは会社ごとにルールが決まっているので、必ず自社の基準を確認してください。
