企業が大量のデータをもとに今後の施策を考えるのが一般的になってきた昨今において、「データクレンジング」という言葉を聞くことが増えてきています。
しかし、中にはデータクレンジングの意味や必要性を正しく理解できていない方も多いのではないでしょうか。
データクレンジングはデータベースにあるデータを修正し、最適化する作業のことを指します。データクレンジングがされていないと、データ分析の精度が下がってしまうため、データをもとにした戦略の立案などをする前に必ず実施しなければなりません。
この記事ではデータクレンジングとはどういう作業でなぜ必要なのかを解説し、その上でデータクレンジングの活用事例や実施の方法について詳しくご説明していきます。
データクレンジングの重要性から具体的な実施方法まで、この記事を読むだけでわかります。今後戦略の立案や施策の実施にあたって、自社が保有するデータをもっと活用していこうと考えている方は必見です。
目次
データクレンジングとは、データを業務に役立てるための分析・加工を行う工程のこと
データクレンジングとは、データベース内にあるデータの中から表記の揺らぎがあるものや誤記を探し出し、一定の基準でデータを修正し最適化する作業のことです。
データクレンジングはデータベースの質を上げることができるため、顧客データなどを営業やマーケティング戦略などの業務に役立てたいときに重要な工程です。
データクレンジングで解決できる3つの課題
データクレンジングを行うと、次の3つの課題を解決することができます。
- データベースを元にしたデータ分析が正確にできない
- データが重複していることに気付かず営業も重複してしまう
- SFA、CRM、MAツールなどの各種ツールが正確に分析できない
ここで挙げた3つの課題は、どれもデータベースがキレイに整えられていないということが原因で起こります。
データベース上のデータが記入ミスや管理ミスにより散らばった状態のままだと、データ分析の質が落ちたり顧客情報管理が上手く出来なくなったりといったデメリットが出てきてしまいます。
そのため、データクレンジングによりデータベースを修正・整理することで、これらの課題を解決することは非常に重要です。
データクレンジングと類似用語の違い
データクレンジングと、類似用語である「データクリーニング」と「名寄せ」の違いは次の通りです。
| 用語 | データクレンジング | データクリーニング | 名寄せ |
|---|---|---|---|
| 定義 | データ表記の揺らぎや重複を修正する | データの表記の揺らぎや重複を修正する | 複数のデータベースから指定した条件で、同一人物や同一企業をまとめる |
| 目的 | データベースの質を向上させる | データベースの質を向上させる | データベースの統合時にデータが重複することを防ぐ |
データクレンジングとデータクリーニングは、言い方が違うだけで、定義や使用目的などは全く同じです。
名寄せは、データの修正と整理をメインに行うデータクレンジングとは異なり、複数のデータベースを統合した時に重複しているデータを1つのデータとしてまとめる作業です。
使い分けのポイントとしては、1つのデータベース上のデータの表記ミスや重複を直したいときはデータクレンジングを、複数のデータベースを統合したときに発生するデータの重複を直したいときは名寄せを実施すると覚えておくとよいでしょう。
一般的には、データクレンジングでデータベースを整えてから、名寄せによって整えられたデータを一定の基準に合わせてまとめるという流れで顧客データの整理を行うことが多いです。
参考：名寄せとは？顧客データを見やすくまとめる主要ツール7選を紹介
データクレンジングを行う3つのメリット
データクレンジングを実施すると、次の3つのメリットが得られます。
- 意思決定をスムーズにする
- 業務効率の改善
- レポーティングの信頼性向上
ここでは、それぞれのメリットについて詳しく解説します。
意思決定をスムーズにする
データクレンジングを行うと、自社のデータベースの質が上がるため、顧客データを元にしたマーケティングや営業の意思決定がスムーズになります。
データクレンジングによりデータ表記の揺らぎや重複を修正し整理しておけば、マーケティング対象となる顧客データがより正確になります。
そのため、顧客データを元にしたデータ分析がしやすくなり、明確なマーケティング戦略や営業の方向性をスムーズに決めやすくなります。
また、入力ミスにより今まで使えていなかった顧客データなども全て運用できるようになるため、より多くのデータを元に正確な意思決定ができます。
業務効率の改善
データクレンジングを行うと、営業やマーケティング部門の社員の業務効率が上がるというメリットもあります。
データベースの整備を行って検索しやすい状態にしておけば、営業戦略を立てるときに必要な顧客データをピンポイントに素早く探し出すことができるからです。
また、データ処理やデータ修正などのノンコア業務にかかる時間を省けるため、社員は営業戦略や取引先訪問などのコア業務に集中できるようになります。
レポーティングの信頼性向上
データクレンジングを行うと、顧客データを元にしたレポーティングの信頼性が上がります。
これは、データクレンジングにより、売り上げの数値や見込み顧客の数値をまとめたレポートを作成するときに使うデータが補完されるので、より正確なデータ分析ができるようになるからです。
データベースに表記の揺らぎや誤記があると、正確な数値がでなくなってしまいます。
CRMなどの顧客データを元にしてレポーティングをするツールを使う場合、データベースが整理されているかは非常に重要です。
社内の顧客データベースを使って売り上げや予定契約数の数値をレポートするなら、データクレンジングによるメリットは大きいです。
データクレンジングの活用事例
データクレンジングで何が解決できてどんなメリットがあるのかが分かっても、実際に自社にデータクレンジングを導入したときのイメージが湧かないという人もいるのではないでしょうか。
ここでは、実際にデータクレンジングを導入した企業の活用事例を紹介します。
年間約350万円もの販促活動費を削減した通信販売企業の事例
重複した顧客データをデータクレンジングで修正し、年間350万円もの販促活動費の削減に成功した通信販売企業の事例をご紹介します。
この通信販売企業では、購入履歴のある顧客データを元に、販促活動の一部として年間20万件のダイレクトメールを送信していました。
しかし、データベース上の顧客データが整理されていなかったせいで、全体の5分の1の約4万件ものダイレクトメールが不通になっていました。
そこでデータクレンジングを導入しデータの整理を実施した結果、顧客データの重複や誤記を修正し、データベース上には正確な顧客データのみを残すことに成功しました。
これにより、不通になっていた分のダイレクトメールにかかっていた費用である約350万円のコストダウンが実現したのです。
参考：データクレンジング（データ整備） | 情報活用（データ統合・分析・管理） | 株式会社メトロ
業務の効率化と売上向上に成功した自動車製造企業の事例
販売店舗ごとに管理していた顧客データをデータクレンジングにより整理し、全店舗まとめて名寄せすることで、業務効率化と売上向上に成功した自動車製造企業の事例をご紹介します。
この自動車製造企業では、自動車等の購入履歴がある顧客データは各店舗ごとに管理していました。
しかし、店舗間で顧客データを共有できないことや、古くなった顧客データの更新をしたいという理由からデータクレンジングを導入しました。
これにより、顧客データの重複を無くしたり、取引先企業の情報を更新したりすることに成功しました。
重複が無くなり整理された顧客データは、同一人物や同一企業にまとめる名寄せのプロセスを経て、全店舗で共有されることとなりました。
店舗間での情報が素早く共有できることになり業務が効率化され、その結果企業全体での売上向上も達成したのです。
参考：[製造業（自動車）][BtoBマーケティング]散在した法人顧客データを統合＆更新。全社で共有・活用可能に 2008年05月30日| マーケティング事例 / 実績 | ランドスケイプ
データクレンジングの2つの方法
データクレンジングの実施方法は、自社のリソースにより行う方法とデータクレンジングツールを使う方法の2種類があります。
それぞれにメリットとデメリットがあるため、データクレンジングの実施対象となるデータベースの種類や規模、状況によってどちらにするか選ぶのがよいでしょう。
ここでは、データクレンジングを実施する2つの方法について紹介します。
自社リソースを活用する
データクレンジングの対象となるデータベースの件数が少ない場合は、自社のリソースを使ってデータクレンジングを実施するのもよいでしょう。
外部業者に依頼したりツールを購入する必要がないため、余分なコストがかからないというメリットがあります。件数が少なければ、無料で利用できるExcelなどのツールを使ってのデータクレンジングが可能です。
しかし、データ件数が多くなりすぎると片手間で対応できなくなることも少なくありません。またヒューマンエラーが起きる可能性もあるのであらかじめ注意しましょう。
ツールを利用する
自社でデータクレンジングに充てる人員がいない、またはデータ件数が管理できないほど膨大な場合は、データクレンジングツールを使いましょう。
データクレンジングツールは購入または契約時にコストがかかりますが、膨大なデータ数のデータベースでも正確にデータクレンジングができます。また、定期契約をすれば一定の頻度でクレンジングをしてもらえるため、データベースを常に整理し続けられるというメリットもあります。
コストは利用するツールの種類や、クレンジング対象となるデータ件数によって変動します。
データクレンジングを実施する4つのステップ
データクレンジングは対象となるデータを収集し取り込み、データの一定基準で整えていきます。そして、整形されたデータをリスト化し、営業戦略や販促活動に役立てていきます。
ここでは、データクレンジングを実施する流れを4つのステップに分けて解説します。
1.データ収集
データクレンジングのプロセスで最初に行うのは、データの収集です。フォーマットや記載方法が違う複数のデータベースから、必要なデータのみをピックアップし集めることで、データクレンジングが不要なデータを除くことができます。
複数のデータベースの全てのデータをクレンジングするのもよいですが、効率が悪くなってしまいます。そのため、データクレンジングを実施する前に、必要なデータのみを収集しましょう。
2.データの取り込み
データクレンジングの対象となるデータが収集できたら、それらのデータを1つのデータベースにまとめて取り込んでいきます。
データを個別に管理してクレンジングをすることも可能ですが、別のデータベース上にあったデータの関係性などが見えてくるため、1つのデータベースにまとめるのがよいでしょう。
3.データの整形
データが取り込めたら、次はそのデータを一定の基準を元にクレンジング・整形していきます。
データの誤記や表記の揺らぎを直していく、データクレンジングのメインのプロセスです。
データの整形をするには、整形をする一定の基準を決める必要があります。
顧客の購入履歴を数値としてデータ化したいなら、数値としてデータ分析できるように半角数字に統一したり、顧客の会社名の表記の揺らぎを直したいなら(株)に統一するなど、データクレンジング後に求める結果を元に基準を設定しましょう。
4.データの整理・分類
データクレンジングによりデータの表記の揺らぎを修正できたら、その後にデータの整理や分類も進めていきます。
データクレンジング自体のプロセスは本来データを修正するまでですが、クレンジングしたデータを活用したい場合は整理もしていきましょう。
クレンジングを実施したデータを、目的に合わせて各リストに分けるなどして、整理していきます。
必要な場所にデータを振り分けることで、データクレンジングによって統一化された質の高いデータを、営業やマーケティングに役立てていくことが可能になります。
データクレンジングを行う際の注意点
データベースを修正・整理することができるデータクレンジングですが、定期的に実施する必要がある、名寄せも同時に行うのが好ましいなど、いくつか注意点があります。
ここでは、データクレンジングを実施するときに注意すべき点を解説します。
データクレンジングは最低でも月に一回は実施すること
データクレンジングは一度実施するだけでなく、定期的に行いましょう。
なぜなら、一度データクレンジングをしてデータの質を上げられたとしても、頻繁に新しい情報が入力される状況なら、またデータに表記の揺らぎや誤記が生まれる可能性があるからです。
データベースを高い品質にキープしたいのであれば、できれば毎週、最低でも毎月は、データクレンジングを行い続けましょう。
機械だけでなく、目視でも確認を行うこと
データクレンジングを実施する際は、Excelやデータクレンジングツールだけに頼らず、目視でも確認をするようにしましょう。
Excelやデータクレンジングツールは、表記の揺らぎや重複データを修正するという点では非常に正確です。
しかし、1つの企業のデータが重複して存在していた場合、ツールで機械的にデータの重複は識別できても、どちらの情報が正しいのかまでは判別できません。
万が一、間違った方の情報がデータベースに残ってしまったら、データベースの質が落ちてしまいます。
そのため、データクレンジングをしたデータを元に顧客管理やマーケティングを行うなら、ツールだけに頼らず、データ項目や内容を目視して確認するようにしましょう。
データクレンジングツールの選び方
データクレンジングツールを選ぶときは、次のポイントをチェックしましょう。
- 企業情報の保有数が多いか
- 補完可能な情報はなにか
- ツールが保有する企業情報の更新頻度
ここでは、データクレンジングツールを選ぶときの各ポイントについて解説します。
企業情報の保有数が多いか
データクレンジングツールが保有している企業情報の数をチェックしましょう。
各データクレンジングツールは、ユーザーのデータクレンジングの際に正確な情報を与えるために、社内で独自の企業情報を保有しています。
企業情報の保有数が多ければ多いほど正確な情報を自動的に補完してくれるため、多ければ多いほど理想的です。
企業情報の保有数はツールによって異なりますが、最低でも100万件は保有しているものを選びましょう。
補完可能な情報はなにか
データクレンジングはデータの揺らぎを補完するものなので、その補完対象となる情報はなにかを確認しましょう。
補完される情報はツールによって異なりますが、最低でも次の項目を満たしているツールを選びましょう。
- 企業名
- 電話番号
- 住所
- 業種
- 売上高
- 従業員数
- 設立年月日
企業名や電話番号、住所などの基本情報はもちろん、資本金や売上高などの情報も補完できると、顧客データを元にしたデータ分析をしやすくなります。
また、どの補完対象が必要かは、データクレンジングをする目的によって変わります。
例えば、経営コンサルティングをメインに行っている企業が、自社の顧客の中でもサービス業の中小企業に対象を絞ったコンサルティングプランの作成をするとします。
この場合は、数ある顧客データの中から「サービス業」と「中小企業」であるデータのみを抽出する必要があります。
そのため、サービス業であるかの「業種」と中小企業かを調べる「従業員数」と「資本金」が補完対象にあるツールを選ぶ必要があります。
このように、データクレンジングによって修正・整理をしたい情報が、そのツールの補完対象になっているのかをチェックしましょう。
ツールが保有する企業情報の更新頻度
データクレンジングはどのくらいの頻度で実施されるのかも、ツールを選ぶときにチェックすべきポイントです。
理想の更新頻度は週に一度、最低でも月に一度は企業情報を更新しているツールを選びましょう。
更新頻度がこれ以下になってしまうと、データベース上の顧客データを最新の状態に保っているとは言えません。
おすすめのデータクレンジングツール3選
数あるデータクレンジングツールの中でも、特におすすめの3つをご紹介します。
ここで紹介するツールは、「データクレンジングツール 比較」で検索し上位10比較記事での紹介頻度が高かったものの中でも、「企業情報の保有数が多いか」「基本的な項目の補完は可能か」「企業情報の更新頻度が最低でも毎月か」という今回解説した選び方に当てはまっているものをピックアップしました。
1．FORCAS
FORCASは、データベースを分析して成約の可能性が高い顧客を特定するABMをサポートするクラウドサービスです。クラウドに顧客データを取り込むだけで、自動的にデータクレンジングと名寄せを行ってくれます。
データの表記の揺らぎや重複が発見された場合、同一と思われるデータがまとめて表示され、その表示されたデータの中から一致していないと思われるデータを選択するだけで簡単にデータクレンジングと名寄せが完了します。
データクレンジングだけでなく、データベース上の顧客データ元に230種類以上ものシナリオに合わせたターゲット企業リストを作成することも可能です。
そのため、より正確な営業戦略を立てるためにデータクレンジングを実施する企業におすすめです。
特徴
- 保有している企業情報数は約150万件
- データクレンジングをした上で、成約確度が高い顧客を特定できる
- 230種類以上ものシナリオに合わせたターゲット企業リストが作成可能
- 各ターゲット企業の成約確度をスコアリングしてくれる
- CRMや各種MAツールとの連携が可能
費用
要問合せ
こんな人におすすめ
- 顧客データを元にした営業やマーケティング戦略をするために、データクレンジングを実施したい人
- クレンジングしたデータをABMやCRM、MAツールで分析したい人
- 細かいシナリオに合わせたターゲット企業を特定したい人
2．ユーソナー(uSonar)
ユーソナー（uSonar）は、820万件もの拠点を持つ日本最大の企業データであるLBCを利用してデータクレンジングが実施できる顧客データ統合ツールです。
820万件という膨大な企業データを元にクレンジングが可能なため、各企業の情報をより正確に修正し管理できます。
SFAやMAなどのマーケティングツールとの連携もできるため、データクレンジングにより整理したデータを他のツールでも活かしやすくなります。
特徴
- データクレンジングと名寄せを併せて実施できる
- 820万件の企業情報を保有しているLBCを使ってのデータクレンジング
- SFAやMAなどのツールと連携が可能
- 名寄せ時に設定できる項目は119種類
費用
要問合せ
こんな人におすすめ
- 分散したデータを修正し1つにまとめたい人
- データクレンジングと名寄せを同時に行いたい人
- データクレンジングしたデータを、他のツールで活用したい人
3．Syncsort TRILLIUM
Syncsort TRILLIUMは、データベース上の表記の揺らぎや重複データの修正をメインに行うデータクレンジング・名寄せツールです。
姓名や住所、法人名キーワードなどの各辞書を使ってデータクレンジングを実施するため、質の高いデータベースを構築することが可能です。
データクレンジングのプロセスに加えて名寄せも行ってくれるため、データベースの質が上がり、SFAやCRMといったツールを使ってデータ分析をしやすくなります。
特徴
- データクレンジングと名寄せを併せて実施できる
- 各辞書を用いたデータクレンジングを行ってくれる
- 名寄せの条件を自由に決められる
- 複数のデータベースを統合して1つのデータにするときに便利
費用
要問合せ
こんな人におすすめ
- 複数のデータベースを修正したうえで1つにまとめたい人
- データクレンジングと名寄せを同時に行いたい人
- SFAやCRMなどのツールで顧客データを分析するために、データベースを整理したい人
データクレンジングに関するよくあるご質問
データクレンジングについて役立つQ＆Aをまとめています。
Q.データクレンジングはどのくらいの頻度で行うべきですか？
A.データクレンジングは最低でも月に1回、理想的には毎週行うことが推奨されます。
Q.データクレンジングの対象となるデータはどのように選定しますか？
A.必要なデータのみを収集し、効率を考慮してクレンジングの対象を絞ることが重要です。
Q.データクレンジングと名寄せの違いは何ですか？
A.データクレンジングはデータの誤記や重複を修正する作業で、名寄せは複数のデータベースを統合して重複データをまとめる作業です。
Q.データクレンジングはツールを使って自動化できますか？
A.はい、データクレンジングツールを利用すれば、表記の揺らぎや重複の修正が自動で行えます。
Q.データクレンジングを導入する際のコストはどのくらいですか？
A.利用するツールやデータの件数によって異なりますが、ツールの契約や外部委託にコストが発生します。詳細はツールの提供元や委託先にお問い合わせください。
まとめ
データクレンジングは、データを修正整理することでデータベースの質を上げられるため、自社の顧客データを分析して、営業やマーケティング業務に活用したいときなどに実施するべきプロセスの1つです。
データクレンジングはExcelなどを使いながら目視で実施することも可能ですが、対象となるデータ件数が多くなってしまうと効率が悪いです。
そのため、データが1万件未満のデータベースであればセルフで実施する、データ件数が多くなるのであればデータクレンジングツールや代行企業に依頼を利用するなどしましょう。