テキストマイニングは、アンケート結果や顧客の口コミなどテキストデータに自然言語処理を施し、自社にとって有益な情報を取り出すデータマイニングの方法です。
今日のビジネスで「顧客の声」は大きな影響力を持ちます。製品やサービスについて集められた膨大な「顧客の声」を「見える化」するのがテキストマイニングです。
顧客からの信頼を得て良好な関係を築き、ビジネスを成長させるために「顧客視点に立つ」「顧客満足度を高める」ことが求められていますが、現実の「顧客の声」を企業はどこまで把握しているでしょうか？
「カスタマーサポートに寄せられた声を商品開発に活用したい」
「顧客アンケートの結果を社内全体で共有したい」
「新製品がSNSでどのように評価されているかを知りたい」
これらの悩みのように、顧客の声を蓄積して分析して活用したいとお考えでしたら、テキストマイニングの導入を検討してください。本記事では、テキストマイニングで用いられている解析手法やテキストマイニングを通じてできることや活用事例、おすすめの無料・有料ツールをご紹介します。
テキストマイニングとは、text（＝文章）とmining（＝採掘）を合成した言葉です。大量のテキストデータの中から、新たな事実や今後の傾向という貴重な鉱石を発見するための分析手法という意味で用いられます。
企業の成長過程において、「 顧客の声を聞くこと」の重要さは早くから指摘されてきました。顧客アンケートや満足度調査を実施している企業も数多くあります。しかし、アンケートや調査を実施するだけで結果を活用できていない企業が大半ではないでしょうか。
また、営業担当者が日々の営業活動を記録する日報にも、「顧客の声」は記録されています。営業活動を通じて得られた「顧客の声」には、サービスの向上や商品開発に役立てられるニーズや要望などが含まれています。
しかし、顧客アンケートや営業日報を通して収集された数万件、数十万件にも及ぶテキストを人力で分析するのは困難です。時間をかけて分析レポートを作成しても、アプローチすべき時期を逃し手遅れになってしまうかもしれません。
そのような状況で力を発揮するのがテキストマイニングです。テキストマイニングではコンピュータを使い膨大な量のテキストデータを分析処理し、必要な情報を拾い上げます。
テキストマイニングのプロセスは下図の通りです。
収集するデータは主に以下のものです。
こうして収集した「顧客の声」は、テキストデータとして収集し、CRMなどに貯蔵します。そして、「顧客の声」を分析できるように加工し、可視化する必要があります。
テキストマイニングは、このプロセスの「データを加工する」工程と「データを可視化する」工程を受け持ちます。
自社データの貯蔵と一元管理を行うCRMについては以下ページでも詳しく解説しています。ご興味のある方はぜひご覧ください。
テキストマイニングには、以下の3つの目的があります。
口コミサイトやSNS、アンケートの自由記述欄、コールセンターへの問い合わせ・クレーム、営業日誌などからデータを集めて分析することで、ユーザーの意見、要望、ニーズ、ウォンツなどを導き出し、製品開発に結びつけます。
分析の結果、商品によっては生産者側が当初想定していなかった使われ方をしていることが分かり、当初のターゲットとは異なる層に受け入れられてヒットしていることが判明するケースもあります。顧客の声を聞くことで、企業が気づかない付加価値の発見にもつながります。
カスタマーサポートに寄せられるクレームや製品やサービスに顧客の声から課題を見つけられ、製品開発や販売方法などの業務改善に結び付けられます。その結果、顧客サービスが改善でき、顧客の満足度の向上が期待できます。
また、社内の営業日報や報告書を分析する場合には、隠れた業務上の課題を可視化でき、業務改善につながります。
新聞、雑誌、論文、さらにはSNSなどのビッグデータ解析は、市場の動向や経済分析、競合他社の動向、特許状況から消費者のトレンドなどの予測に活かせます。
たとえば、環境問題やCO2削減について「専門誌や論文、マスメディアがどのように報道しているか」「それに対して消費者はどのように反応しているか」を知ることで、求められる新技術や今後の規制対象となる技術や生産方法を把握できます。
テキストマイニングは、「自然言語処理」と「データマイニング分析」という2つの技術から成り立っています。この2つの技術は以下のような役割を担っています。
日常的に私たちが使う言葉は「自然言語」と呼ばれます。自然言語はそのままではコンピューターによって処理できないので、コンピューターが扱える形に自然言語を分解しなければなりません。このときに行われる処理を自然言語処理と呼びます。毎日利用しているかな漢字変換や機械翻訳にも、身近な自然言語処理技術が使われています。
自然言語処理に用いられる主な解析方法には、形態素解析と構文解析があります。
形態素解析とは、自然言語で書かれている文章を、形態素と呼ばれる最小単位に分解し、品詞などの要素を割り出す解析方法です。
次の文章は同じ意味を持ちますが、形式面では英語は単語に沿って分けて書かれていて、日本語は単語ごとに分離されていないという特徴があります。
|
英語 |
I went to the office. |
|
日本語 |
私は会社に行きました。 |
そのため、日本語の処理をする場合は最初に文を単語に分割し、各単語の品詞を求めなければなりません。
私 ／ は ／ 会社 ／ に ／ 行き ／ まし ／ た
（名詞）（助詞）（名詞）（助詞）（動詞）（助動詞）（助動詞）
形態素分析はテキストマイニングの最も基本となるもので、必須技術と言えます。
構文解析とは、自然言語の文の構造を求める技術のことです。日本語文の場合、文を文節（文を読む時に自然に区切られる最小の単位）に分割し、文節間の依存関係を明らかにします。
文節を取り出し、それぞれの文節がどのような依存関係にあるかを調べ、文の構造を分析します。
上記の構文では、「彼は」は「購入した」という言葉に係っています。「A社の」という言葉は「製品を」という言葉に係ります。そして、「購入した」は「彼は」という言葉と、「製品を」という言葉を受けています。
このように、それぞれが係り受けにある文節の組を取り出し、その文節の組レベルでデータを集めるときに、構文解析が利用されます。
正しい依存関係にある文章を大量のデータとして入力することで、名詞＋「は」、名詞＋「を」は動詞に係りやすく、名詞＋「の」は名詞に係りやすいことなどを機械学習させます。
自然言語処理を施したデータは、単語ごとに整理されています。この情報をもとにテキストマイニングの目的に合わせた手法に沿って分析します。データマイニング分析は、主に次の手順で行われます。
頻度解析とは、文章内において特定の文字が出現する頻度を解析する方法です。
形態素解析や構文解析などの基本的な処理では、次のような分析手法が用いられます。
・単語頻度分析
形態素分析を施したテキストの単語の頻度を分析します。
上記の表のように、どの単語がどれだけ登場するかを見るだけでも、トピックの傾向がわかります。
・構文頻度分析
構文解析の係り受けを分析し、特定の名詞がどのような形容詞と結びつきやすいかの傾向を見ることができます。
ここで取り上げたテキストには、「経験」―「浅い」、「人材」―「むずかしい」、「導入」―「むずかしい」という言葉の結びつきが多いことがわかります。
主成分分析とは多くの変数によって記述された量的データを、少数の合成変数によって要約する方法です。
たとえば、性別や年齢もさまざまな人に、商品についての印象を聞くアンケートを取るような場合に商品の金額など10項目にわたる質問をします。単位も条件も異なるデータを分析前に標準化しておくことで比較が可能になります。
赤い線の部分が第1主成分で最も多くのデータを反映しています。次に、黒い線は第2主成分で、2番目に多くのデータを反映しています。
このように、多くのデータを異なる2つの成分に要約することで、全体の大まかな傾向がわかります。
センチメント分析とは、SNSの投稿やアンケートの自由記述欄などのテキストデータにこめられた感情を分析する手法です。商品や購買体験の評価を分析する際に利用されます。コメントを「ポジティブ」「ネガティブ」「中立」に分けて分析できます。
センチメント分析は、テキストを「喜び」「好き」「悲しみ」「恐れ」「怒り」の5つの要素に分解し、テキストの進行によって感情の推移を分析することもできます。
長文のテキストにこめられた書き手の感情や、時間の経過とともに寄せられるコメントの分析などに利用されます。
対応分析とは、文章中にあらわれる単語を特徴や関連性などによって調べ、散布図を作成する分析手法です。
テキストマイニングでは少数のテキストを分析するだけでなく、多くのテキストを同時に分析する場合もあります。項目間の関係性を視覚的にわかりやすくしたいときに向いています。
上記は物件A~Dの印象を、15項目で5段階評価してもらったアンケート結果の例です。項目と物件の関係を見て取れます。
統計は定量的なデータを対象とするものですが、テキストマイニングでは定量（構造化）データと定性（非構造化）データの2種類を対象にしています。ここからはテキストマイニングが扱うデータについて説明します。
定量データとは、数値によって表せるデータを指します。前もって条件を決められたデータで、 「商品名」―「売上」、「顧客名」―「メールアドレス」などのように、項目や項目間の関係性を固定したものであるため、構造化データとも 呼ばれます。
売上などの財務データやKPI（重要業績評価指標）、Webサイトのアクセス数やクリック数、広告のインプレッション数、SNSの投稿数や「いいね」の数値など、数値化されたデータについて統計的解析手法を用いて分析を行います。
定性データとは、数値によって表せない質的な情報としてのデータを指します。特定の構造を持っていないため、非構造化データともいいます。
前述の通り、テキストデータの処理にはいくつかの方法はありましたが、どうしても人力に頼らざるを得ず、属人的になりがちで、扱うデータ量にも限界がありました。
テキストマイニングは定性的なテキストデータを定量的に評価するものとして登場しました。たとえば、以下はあるテキストの共起キーワードの例です。
上記はテキスト中の単語と単語が共起（共に出現）する関係性を視覚的に明示した図です。青は名詞、緑は形容詞、赤は動詞で表されています。それぞれの丸の大きさは出現の頻度を、線の有無は結び付きを、そして、線の太さは結びつきの強さを表現しています。共起しているかどうかが判別できます。
このように、定量データでは見えない傾向や変化、関係性や感情に気づかせてくれるのが定性データの性質です。
テキストマイニングが実際に活用されている事例として、3つの事例を紹介します。
SNSの普及によって、誰もが自分の思ったことや感じたことを用意に投稿できるようになりました。消費者は、商品を購入する前や食事に行く前に口コミサイトを確認し、他のユーザーの声を参考にしています。また、販売員やコールセンターでの対応の悪さを批判するツイートがまたたく間に拡散され、ブランドイメージを著しく落とすような事例もあります。
口コミやSNS分析によって、顧客ニーズやユーザーの声を知ることが、以前にも増して重要になっています。
アイエックス・ナレッジは、2009年から毎日、モニターをサンプリングして、夕食メニューや手づくりしたメニュー、不満などを聞くアンケートを行っています。 自由記入式のアンケートの回答をテキストマイニングし、構文（係り受け）分析や共起ネットワーク、特徴語の分析などを通じて、メニューへの不満、食材の価格に対する不満、野菜の量などに対する不満などの傾向を分析しています。
テキストマイニング分析を通じて、全世代に共通する夕食づくりの不満や、世代別の不満などの傾向が、仮説として引き出されています。
コールセンターは、「顧客の声」を取得できる重要なタッチポイントです。申し出のあったトラブルが同一製品や地域、似たタイプの顧客に発生していないかを分析し、原因に対する施策を策定して事象を改善できます。
つまり、テキストデータ化された顧客の声を解析すれば、顧客の不満や商品・サービスの課題が抽出できるため、これを改善することでより良いサービス提供が実現します。
ゆうちょ銀行のコールセンターでは、2018年からテキストマイニングシステムを試験的に導入し、顧客からの電話内容をテキストデータ化することで関連するFAQを自動検索できるようになりました。これにより、経験の浅いオペレーターの応対品質が向上し、処理時間が3割削減される結果をもたらしています。
この結果を受けて、ゆうちょ銀行では2020年秋からテキストマイニングシステムが本格的に導入されました。
社内の営業日報や業務報告書などもテキストマイニングの対象となり、社内の業務課題の抽出に使われます。
たとえば、病院では、院内で起こった「一歩間違えたら大きな事故になったかもしれない」ような事態を「ヒヤリハット事例」として報告する仕組みがあります。この「ヒヤリハット」が記載された日報や報告書に対してテキストマイニングを用いることで、潜在的なリスク因子を抽出し、事故防止の手掛かりとして研究、活用されています。
テキストマイニングは、データを統計処理しなければならないため、一見すると複雑に感じられますがが、ツールを活用すれば誰にでも行えます。ここでは無料で使えるテキストマイニングツールを2種類ご紹介します。
ユーザーローカルでは、クラウド上のフォームに文章を入力するほか、ファイルをアップロードしてテキストマイニングが行えます。
また、メールアドレスで会員登録をすれば、文字数上限が増えるなどさらに詳細なテキストマイニングが可能です。
解析できる内容は以下のとおりです。
テキストマイニングで何ができるか、データの可視化とはどのようなものなのかなど、解析に慣れるのに最適なツールです。
KH Coderは、アプリケーションソフトをパソコン上にダウンロードし、インストールして用いるテキストマイニングソフトで、立命館大学の樋口耕一教授によって開発されました。
分析は2段階に分かれており、第1段階でデータから単語を自動抽出、第2段階で分析者がコンセプトを抽出します。テキストマイニングをこれから学ぼうとする初学者に向いているツールです。
続いて、機能が充実した6種類の有料のテキストマイニングツールをご紹介します。
アイタスはフレーズ単位で分析を行うため、単語がどのような文脈で用いられているのかを判断し「意図」を読み取ることが得意なテキストマイニングツールです。
株式会社Insight Techと自然言語処理の権威である京都大学「黒橋・河原研究室」との産学連携で開発され、その高い技術力には定評があります。分析をするための事前の辞書は登録不要で、すぐに使用できます。
|
プラン |
ライトプラン |
スタンダードプラン |
プレミアムプラン |
|
特徴 |
AIによる分析 |
分析＋レポート |
課題に応じて独自AIモデルの開発 |
|
価格 |
50万円～ |
300万円～ |
問い合わせ |
見える化エンジンは1,600社以上で導入されているテキストマイニングサービスで、クラウド型とインストール型から選ぶことができます。
自然言語処理エンジン「Waters」が用いられており、定量・定性データベースへ広く対応しています。
「SNSの情報取得」「リサーチ」「情報の自動反映」といった顧客の声からデータを収集し、「市場心理」「感情分析」「リスク管理」など必要な情報を可視化・分析できます。操作が分かりやすいので、統計やテキストマイニングの知識のない人でも、データの入手・分析がしやすいツールです。
料金プランは問い合わせが必要です。
Text Voiceはテキストマイニングの基本的な機能が備わり、類義語辞書が自動生成されるため登録後すぐに使用できるツールです。
自社で保有するデータのみならず、TwitterとInstagramからもデータの取得が可能です。
直感的な操作で簡単に分析できるよう設計されている、初心者にも使いやすいツールです。
|
プラン |
テキストボイス |
テキストボイス＋SNSデータ取得オプション |
分析代行 |
|
初期費用 |
20万円 |
個別見積 |
|
|
月額利用料金 |
10万円 |
13万円 |
|
Text Mining StudioはNTTデータ数理システムのインストール型テキストマイニングツールです。日本語だけでなく英語にも対応しており、テキスト処理のための機能が豊富に搭載されているためスムーズに分析に入れます。また分析機能も、頻度分析や注目分析、特徴分析など7系統14種類あり目的に合わせて利用できます。
料金プランは問い合わせが必要です。
TRAINAは 野村総合研究所が提供する、自然言語処理を進化させた総合的なAIソリューションです。テキストマイニングはTRINAの機能のひとつで、クラウドでもインストールでも使用できます。分析できる対象は、アンケートや営業日報、SNSやコールセンターへの問い合わせなど、業務に用いられるほぼすべてを網羅しています。
料金プランは問い合わせが必要です。
Vext Minerはクラウドでもインストールでも使用可能なテキストマイニングツールです。会話テキストやSNSなどのビッグデータ分析機能にも優れており、AIによる自動学習機能が導入され、ユーザーが調整しなければならない負担が大幅に軽減されています。特に会話分析技術の優れ、音声データの多い業務に向いています。導入にあたっては研修や分析をサポートする教育プランも用意されているので、自社のニーズに即した有意義な使い方ができるでしょう。
料金プランは問い合わせが必要です。
ここまでご紹介したようにテキストマイニングツールには、無料や有料にかかわらずさまざまな種類があり、それぞれに強みがあります。しかし、ビジネスに活かすには自社に合ったテキストマイニングツールを選ばなくてはなりません。ここではテキストマイニングツールの選ぶための3ステップを紹介します。
テキストマイニング分析を行うことで何を明らかにしたいか、どのような課題をテストマイニングを通じて解決したいのかをはっきりさせる必要があります。
データ分析は目的によって用いる分析手法が変わります。社内でテキストマイニングを導入する目的が上がってきた背景も深掘りして検討してください。
有料ツールの中には公式サイトやパンフレットに料金プランが記載されていないものも少なくありません。なぜなら、目的やデータ量などによって料金が異なってくるからです。
また、担当者のスキルに合わせて、分析の読解や事前準備についての研修が必要な場合もあります。導入する場合は、自社リソースだけでなく、サポートが得られるかどうかも含めて検討しましょう。
目的によってはテキストマイニングに必要な機能も異なります。データの前処理はあらかじめ行っておく必要があるかどうか、また音声データはテキスト化しておく必要があるのかなどを確認します。目的に合わせて必要な機能が搭載されているものを選びましょう。
テキストマイニングを始めとしたデータ分析は、いずれも1度行えば課題がすべて顕在化し、問題解決ができるというものではありません。組織で継続して分析を行う際に課題となる3点を挙げます。
組織として全体の事業戦略、営業戦略の中で、テキストマイニングを通してどのような課題を解決したいのかを明らかにします。
例：テキストマイニングによって新製品の需要を予測する
課題を明確化した上で、全体の数値目標（KGI：重要目標達成指標）を設定し、そこに至るまでのKPIを設定します。
新製品の発売前、企画段階、あるいは定期的なブランドイメージの調査など、目的に合わせてテキストマイニングを行うスケジュールを立て、仕組み化します。
テキストマイニングを行うためには、データの前処理が必要となります。技術的な処理はツールに委ねられますが、言葉の選定やデータの導出には社内におけるのビジネス理解が求められます。
そこで、具体的には、「何のために行うのか」「自社のどのような課題を解決したいのか」を検討し、テキストマイニングを実施し、導出された結果を社内に還元するための人材育成が必須となります。
WebサイトやSNSの運用、顧客アンケート、コールセンターへの通話データなど、今日では企業は膨大なテキストデータを保持しています。テキストマイニングを実施することで、これらの膨大なデータから顧客ニーズを把握したり、市場動向を予測するなど様々な局面での活用が可能となります。
テキスト分析というと、プログラミング言語やデータ分析を学ばなくてはならないと不安になるかもしれません。しかし、初心者であっても本記事で紹介したように、テキストマイニングツールを使えば分析データが入手できます。
テキストマイニングで求められるのは、得られたデータを分析し、製品開発やマーケティング戦略に役立てる力です。ツールの助けを借りつつ、テキストマイニングを通じて掘り起こされた顧客の声を自社の「次なる一手」に活用してください。