組織のあらゆる問題を解決する手段の一つとして、データマイニングが注目されています。

この記事ではデータマイニングの概念、主な手法である機械学習と統計分析について詳しく紹介しています。

またデータマイニングを用いて、正確に分析を行うためのポイントについても解説しています。

データマイニングとは？

データマイニングとは、大量のデータから有益な情報やパターンを抽出するための技術や手法のことです。

現代社会においては、IoTや携帯デバイスの発展によりあらゆる活動がデータ化されます。

大量のデータから情報や知識を掘り起こすことから、発掘になぞらえて「マイニング」という名称がつけられています。

データマイニングでは統計学や機械学習を組み合わせて、データがもつ共通するパターンを見つけ出します。

複雑なデータセットから有益な知見を発見することで、人間の意思決定を支える役割を果たし、正しい経営判断や将来的に起こる問題のマネジメントが可能になります。

例えば業務に使用する機械の故障時期を予測したり、市場のデータから顧客の共通点や購買までの行動パターンを把握したりするのに活用されています。

データマイニングの種類・分析方法

データマイニングは、データから知見を得るためのあらゆる手法を指します。

現代においては大量のデータを扱う必要があるため、情報の抽出と分析の段階においては機械学習と統計分析が用いられます。

自動で分析する機械学習

データマイニングにおける機械学習では、コンピューターが自動的にデータを解析し、パターンや相関関係を発見するので以下のような特徴があります。

• 自律学習
• 仮説を立てる必要がない
• 人力では難しい複雑で大量のデータ処理

入力された膨大なデータから、コンピュータが自ら学習し結論を導きます。

結論を求めるために必要な仮説を立てなくとも、データから知見を得られます。

そのため、機械学習は複雑な条件や多変量のデータを扱う上で有効な手段です。

ビジネスにおいては、特定の事象における課題の解決や、顧客ごとに最適なマーケティング戦略を選定するのに用いられています。

例えばホームページの訪問者のサイト内での行動を分析し、ユーザーの属性や情報を分類し、属性ごとに必要な情報を提供したり、一見関連性のない行動から人間では思いつかなかった共通点を発見したりします。

仮説検証を目的とした統計分析

データマイニングにおいて統計分析は、仮説を検証するために用いられます。

事前に立てた仮説に基づいて必要なデータを収集し、適切な統計手法を選択して分析を行います。

統計分析にはさまざまな手法がありますが、ビジネスでは主に「回帰分析」「主成分分析」「因子分析」の3つの手法が選択されます。

回帰分析

2つ以上の変数の関係を調べ、一方の変数が他方にどのように影響を与えるかを分析する手法です。

どのような広告を打てば良い結果が得られるのか、どのような商品を販売すれば市場でヒットするかなど、要因と結果の因果関係を求めるのに利用します。

主成分分析

いくつかの変数を組み合わせて、最も重要な変数（主成分）にまとめる手法です。

いくつかの現象から、結論を導き出すのに用いられます。

因子分析

観測された変数の背後にある潜在的な共通因子を見つけ、変数の共通性を分析する手法です。

顧客がもつ、自社製品のブランドイメージの把握などに用いられます。

 

データマイニング実施のポイント

データマイニングを行うための、具体的なポイントについて解説していきます。

データ管理・収集

データマイニングによって有益な知見を得るためには、なるべく多くの質の高いデータが必要です。

ビジネスにおいて使用できるデータを管理・収集するには、データウェアハウスの活用が効率的です。

データウェアハウスには、以下のような特徴があります。

• データの保存、整理、分析に適したフォーマット
• 保存したデータの更新、削除不可
• 一つの形式に統合

データウェアハウスは、社内にある複数のシステムからデータを集約し、データマイニングに必要なデータの包括的な管理を行う場所です。

データベースと異なるのは、集めたデータを保存・共有するだけでなく、時系列順に整理し、格納したデータの更新や削除を行わない点です。

また、データウェアハウスは一つの形式によって複数のシステムから得たデータを統合しているため、より効率的なデータマイニングが可能になります。

データクレンジング

データクレンジングは、データマイニングの処理においてノイズとなる不正確なデータやエラーの特定、乱雑なデータに一貫性を持たせるために行う作業で、データスクラビングとも呼ばれています。

データクレンジングの具体的な作業は以下の通りです。

• 日付などの書式の統一
• 誤ったデータの特定
• 重複データのチェック
• 表記揺れの統一

日々の業務では、異なる部署や担当者がさまざまな形式でデータを入力することから、マイニングにおいて十分に活用できないことがあります。

これらの使用できないデータのことを、ダーティデータといいます。

ダーティデータがあると検索が困難になったり、重複データが生じたりすることで、必要な結果が得られなくなるなどの妨げとなります。

データクレンジングはこのダーティデータを修正する作業で、誤登録や重複登録、表記のゆれ、情報の欠如などを統一し、正確で一貫性のあるデータの確保を行います。

仮説を立てる

ビジネスにおけるデータマイニングでは、仮説を立てることが重要です。

機械学習はデータを入力するだけでも行えますが、それぞれの分野で専門性の高いソリューションを導き出すには、専門家のもつ知見と組み合わせて使用することが求められます。

仮説を立てることのメリットは主に3つあります。

1. データマイニングの精度の向上
2. エモーショナルの向上
3. 俯瞰的な知見を得られる

仮説を立てることでビジネスの意思決定の精度が向上し、プロジェクトに対する説得力や意欲も向上します。

仮説を立てる際のポイントは、広い視点を持って全体を俯瞰し、現在抱えている課題を正確に把握することです。

例えば「売上が伸びない」という課題がある場合、問題があるのは営業だけとは限りません。

広告や商品の単価、性能、ブランドイメージなど、売上に影響する多様な要素を網羅的に考え、それぞれの状況をリサーチして必要なデータを収集します。

専門家への相談も1つの手

現在はデータマイニングを行うためのソフトも充実しており、自社内で完結させることも可能です。

しかし業界の特性に応じた必要なデータの選定や、仮説・検証のためのリサーチなど、初期段階において専門的な判断が必要になることが多く、データの質が抽出した知見に影響を与えます。

データマイニングを行う際には、それぞれの分野の専門家に相談することも検討しましょう。

データマイニングは多くの工程において機械化されているものの、人間のもつ経験と情報を組み合わせることで、さらに仮説に基づいた結果を得られます。

クライアント様の事例

データマイニングはさまざまな場面で利用されますが、相関性のある組み合わせやグループを発見することを得意としています。

特にリコメンデーションとの相性が良く、クラウドサービスや広告事業では、データマイニングの手法を活用してユーザーの消費意欲を高めています。

個人的にはマクドナルドでバスケット分析を行ってみたことがあるものの、あまり意味のある示唆は出なかったことから、シンプルな商品構成でSKU数が少ない場合にはあまり有効でないと理解したという経験があります。

一方で、過去の類似商品との比較からその商品がどれくらい売れるかを早期に把握し、在庫予測からマーケティング施策へ反映するなどは非常に有効でした。

データマイニングの活用を検討する際には、どんな仮説を検証するために行いたいのか、検証テーマとデータマイニングの相性をしっかりと考えてから取り組むことをおすすめします。

「TACHIAGE（タチアゲ）」では豊富な経験を持つ人材が、これまでのデータマイニングのモデルを通して貴社においての最適な活用方法を提案いたします。