-1.jpeg?width=48&height=48&name=DSC_2387%20(1)-1.jpeg){kind=small}
非構造化データとは、画像や動画、音声、SNSの投稿のように、決まった形式で整理されていないデータのことです。企業が保有するデータのうち、実に約9割が非構造化データだといわれています。
データクレンジング入門ガイド
〜顧客データを正し、活かすための基本・手法・ツール活用〜 データクレンジング入門ガイド
- データクレンジング概要
- データクレンジングの手法
- データクレンジング実行時のポイント
- HubSpotのAIアシスタント
今すぐダウンロードする
全てのフィールドが必須です。
非構造化データには、顧客の潜在的なニーズやインサイトが隠れていることがあり、非構造化データを、規則性がある「構造化データ」に変換することで、検索や分析が可能になります。
この記事では、非構造化データを構造化データに変換する必要性や具体的な方法をわかりやすく紹介します。
「非構造化データを構造化データに変換する」とは？
「非構造化データを構造化データに変換する」とは、規則性がない「非構造化データ」を、規則性があってコンピューターが扱いやすい「構造化データ」に変換することです。
まずは、構造化データと非構造化データの違いから詳しく見ていきましょう。
構造化データと非構造化データの違い
構造化データとは、一定の規則に従って整理されたデータのことです。行と列を持つ表形式のExcelデータが、構造化データの代表的な例です。構造化データは、検索や集計、分析がしやすいため、コンピューターが扱いやすく、人間にとっても視覚的にわかりやすいデータ形式といえます。
非構造化データとは、規則性のある形式や構造を持たないデータのことです。テキストや画像、動画、音声、3Dデータなど、一定の規則に則って整理されていないデータは、すべて非構造化データといえます。
非構造化データには、次のようなものがあります。
- メールやチャットの文章
- 電話の録音データ
- ブログコンテンツ
- 広告のクリエイティブ
- SNSの投稿
- 企画書
- 契約書
- 建設に使用する3DモデルやCADデータ
- 監視カメラのログ
非構造化データのなかには、一部が構造化されながらも、形式が固定されていないデータも存在し、そのようなデータは「半構造化データ」と呼ばれることがあります。半構造化データの代表的な例が、マークアップ言語で構造が定義されたHTMLやXML、JSONです。
半構造化データは、構造化データと非構造化データの中間の性質を持っているため、規則性が全くない非構造化データよりも、構造化データに変換しやすいのが特徴です。
非構造化データを構造化する重要性
企業が保有するデータのうち、非構造化データの割合は高く、実に9割が非構造化データだといわれています。近年は特に、IoTデバイスの普及によって大量の非構造化データの収集が可能になりました。センサーやウェアラブル端末、スマート家電などのIoTデバイスが、位置情報・温度・音声・振動といった非構造化データを大量に生成するためです。
あらゆるデータは、整理・分析することではじめて、相関関係や時間的な変化の傾向をとらえることが可能になります。そのためには、非構造化データを構造化データに変換し、データとして活用できるようにするプロセスが欠かせません。
従来、非構造化データの変換作業には専門知識と膨大な工数が必要でしたが、近年は生成AIを活用して効率的に非構造化データを処理する方法もあります。
非構造化データを構造化データに変換する方法
ここでは、非構造化データを構造化データに変換する方法を解説します。さまざまな形式で保存されている非構造化データを、決まった形式の構造化データに変換するには、必要なデータを抽出したり、形式を整えたりする前処理が必要です。
- データを収集する
- データを抽出する
- データクレンジングを行う
- データを整形して構造化する
- データを保存・活用する
1. データを収集する
まず、対象となる非構造化データを収集します。このとき、目的に合った情報ソースを選定することが重要です。例えば、自社の商材を分析する場合には、ユーザーの購買履歴やレビュー投稿、SNSの反応などが情報ソースとなります。
2. データを抽出する
次に、集めたデータから、必要な情報のみを抽出します。人間が行うと膨大な手間がかかりますが、次のような技術を活用することで大幅な効率化が可能です。
OCR（光学式文字認識）
OCR（光学式文字認識）は、画像やPDFの内容を認識してテキストに変換する技術です。例えば、請求書のPDFやレシート写真から会社名・日付・金額を抽出したり、手書きアンケートのスキャン画像から、自由記述欄のコメントを抽出したりできます。
ASR（自動音声認識）
ASR（自動音声認識）は、人間の音声データをテキストに変換する技術です。マイクで取り込まれた音声信号をデジタル化して解析し、適切な文章に変換して出力します。顧客との通話内容や会議の文字起こしなどに便利です。
NLP（自然言語処理）
NLP（自然言語処理）は、人間が使う言葉をコンピューターが扱うための技術です。OCRやASRと組み合わせることで、画像や音声から読み取ったテキストデータをより正確に処理できます。例えば、アンケートの回答やSNSの投稿文章から、人間の感情を読み取ることも可能です。
3. データクレンジングを行う
必要なデータを抽出し、前処理が完了したら、データクレンジングのステップに移ります。データの内容や状態によって必要な処理は異なりますが、基本的には次のような作業が必要です。
- 不要な情報を削除する
- ノイズ（空白や改行など）を削除する
- 表記ゆれを修正する
- 重複を削除し統合する
- 外れ値（他の値からかけ離れた値）を削除する
- 古いデータを更新する
データクレンジングによってデータの重複や抜け、誤りを正すことで、精度の高い分析結果が得られます。
4. データを整形して構造化する
データの形式が統一できたら、あらかじめ定義したルールに合わせて加工し、構造化データに変換します。
例として、次の口コミのテキストを構造化してみましょう。
口コミの内容を表にまとめることで、言及されている項目と評価を簡単に集計できます。
必要に応じて次の処理も行うと、より活用しやすいデータになるでしょう。
- データに番号を割り当てて標準化する（例：「ポジティブ＝1」「ネガティブ＝2」）
- 外部ソースから関連する情報を取得して追加する（データ・エンリッチメント）
生成AIを使って非構造化データを整理することもできます。こちらは、ChatGPTで先ほどの口コミを表に変換した例です。
意図した通りの出力結果が得られなかった場合は、分類項目を指定するなど、具体的なプロンプト（指示文）を意識しましょう。複数回に分けてプロンプトを入力し、出力結果をブラッシュアップする方法もおすすめです。
また、生成AIを活用する際は、顧客の個人情報をはじめとする機密情報の取り扱いに注意が必要です。具体的な対策については、次の記事をご覧ください。
生成AIでは扱えるデータの量や内容に制限があるため、大量のデータを取り扱う際は、ELTツールが有効です。
ELTとは、「抽出（Extract）→ 格納（Load）→変換（Transform）」のアプローチによって行うデータ統合の手法です。データを整理してからツールに格納するのではなく、ローデータをそのままツールに格納し、ツール内で整理することで、大量のデータを効率良く処理できます。
5. データを保存・活用する
構造化したデータに誤りや抜け漏れなどがないことを確認したら、ExcelやCSVとして保存します。構造化データは、データベースに登録する、AIによる分析を行うなど幅広い用途に活用が可能です。
CRM（顧客関係管理）やBI（ビジネスインテリジェンス）などのツールと連携して、管理・分析を行うのも良いでしょう。
非構造化データを構造化データに変換して有効活用しよう
非構造化データは、企業の資産とも呼べる情報源です。非構造化データを構造化データに変換することで検索や分析に活用できる状態にしておきましょう。
非構造化データを解析できるAIが搭載されたツールでデータ収集を行うと、非構造化データを活用しやすくなるのでおすすめです。
HubSpotのシステムには、AI機能「Breeze」が標準搭載されています。営業・マーケティング・カスタマーサービスを通じて得た詳細な顧客情報をリアルタイムに記録し、部門横断で活用が可能です。自動で情報が収集・整理されるため、データの収集やクレンジングといった作業も必要ありません。「使いやすさ、即効性、オールインワン」がコンセプトのBreezeを、ぜひ無料でお試しください。
