ここからが本稿の中核です。ただし、AI回答と公表資料を突き合わせる照合テストの一般的な設計——正解表の列、記録項目、指標の定義——は照合テストの実装手順を扱う記事の領分です。本節は「話した内容がテキストになっているか」に固有の確かめ方に絞ります。
8-1. 出発点を確認する
日本IR協議会の第33回調査で、IR活動の効果測定の指標として「説明会へのアナリスト・投資家の参加人数」を挙げた企業は51.1%(前回47.3%。母数はIR実施企業)。同調査は、上位6つ以外の選択肢がいずれも30%を下回り、貢献度の測定の難しさが浮き彫りになっている、と整理しています。
説明会は、参加人数で測られています。 自然な指標ですが、これはその場にいなかった相手に何が届いたかを測りません。話した内容が事後にどこまで参照可能になったかは、参加人数からは分かりません。
8-2. 質問を三つの層に分けて作る
本節の核となる手順です。説明会で話した内容を、テキストとしての所在によって三層に分けます。
| 層 | 内容の例 | テキストの所在 | この層で分かること |
| 層A | 資料のスライドに文字として書いてあること | 資料PDF(公開済み) | 公開済みテキストが読まれているか |
| 層B | 話したが、資料には文字として書いていないこと(数値の背景、前提、見通しの根拠) | 動画のみ、または書き起こし | 話した内容が届いているか |
| 層C | 質疑応答の場で出た論点 | 記録がなければどこにもない | その場限りの内容の扱い |
各層から質問を作ります。層Aから3〜5問、層Bから3〜5問、層Cから2〜3問。質問文は、その内容を知りたい投資家が実際に使いそうな言い回しにします。 社内用語や自社だけの略称では、回答が出ないのが当然になり、測定になりません。
★層Cについては、あらかじめ「回答があった場合の解釈」を決めておいてください。 どこにも記録がないはずの内容と整合する回答が出たら、まず誤答や推測でないかを確かめ、そのうえで引用URLを確認します(§8-6)。自社以外に記録が存在していたのなら、それは発見であって成果ではありません。
8-3. 回答がどの層まで届いているかを読む
回答を三つに分類します。
- 答えられない(該当する情報を持っていない旨の回答、または一般論に終始する回答)
- 層Aの範囲で答える(資料に書いてある範囲の内容だけを述べる)
- 層B・層Cに踏み込んで答える(資料の外にある内容に触れる)
★「答えられない」と「誤って答える」を必ず分けてください。 前者はテキストが存在しないか届いていない状態、後者は別の情報源から誤った内容を取り込んでいる状態で、打ち手が違います。 前者はテキストを作る話、後者は公表済み資料との突き合わせの話(親記事の領分)です。
層Aで止まっているなら、それ自体は失敗ではありません。層A相当の内容までは回答に現れているということです(資料そのものが参照されたかは§8-6で確認します)。問題になるのは、層Bと層Cの内容が投資判断上重要であるにもかかわらず、どこにもテキストが存在しない場合です。
8-4. 「話した内容」の棚卸し表を作る
測定と並行して自社側の在庫を確認します。イベント単位ではなく内容単位で作ります。
| 列 | 記録する内容 |
| イベント | いつの、どの説明会か |
| 内容 | 述べた個々の内容(一行で書ける単位まで分解する) |
| 層 | A/B/C(§8-2の区分) |
| 形式 | スライド本文/スライド内の図表/音声・映像/テキスト |
| 所在 | 自社サイトのURL/動画プラットフォーム/社内のみ/どこにもない |
| テキストの有無 | あり/画像の中/なし |
| 公開の有無 | 公開済み/社内のみ/未作成 |
★この表の目的は、欠落の所在を見えるようにすることです。 「所在=どこにもない」かつ「層=B以上」の行が、本稿の指摘してきた欠落です。埋めるかどうかは、内容の重要度と§6の論点を踏まえた経営判断です。
★§2-4を思い出してください。 議事録をすでに作成している企業では、「公開の有無=社内のみ」の行が並ぶことがあります。その場合、次の論点は作成工程ではなく公開の判断です。
8-5. スライド内の図表が画像になっていないか
資料PDFを公開していても、要点が画像に埋まっていることがあります。確認は単純です。ページ単位ではなく、数値単位で見ます。
公開しているPDFをブラウザやビューアで開き、図表の中の数値を範囲選択してコピーしてみてください。 選択できなければ、少なくともそのビューア上では、選択可能なテキストとして確認できません。セグメント別業績、中期経営計画の進捗、資本コストや資本収益性に関する図——投資家の関心が集まる部分ほど、作図の都合で画像になっていることがあります。
★§2-6のとおり、東証の要請への対応を記載する媒体として最も多く選ばれているのは決算説明会資料です。その説明が画像として埋め込まれていないかを確認する価値があります。
なお、テキストが存在しても取得されるとは限りません。取得の経路はIRレーンの技術編(別稿)の領分です。ここで確認しているのは、取り出す対象が存在しているかという前段だけです。
8-6. 回答が引用したURLがどこを指しているか
AIの回答に出典のURLが示されたら、その行き先を記録します。
| 行き先 | 読み取れること |
| 自社の書き起こし・要旨のページ | 話した内容に対応するテキストが参照されている |
| 自社の資料PDF | 層Aの範囲で参照されている |
| 自社の動画ページ | ページは参照されているが、内容がテキストであるとは限らない |
| 自社サイトの別ページ(過年度ページ等) | 意図した版が参照されていない可能性 |
| 第三者の記事のみ | 自社側に対応するテキストが無いか、届いていない |
★「第三者の記事のみ」が続く場合が、本稿の扱ってきた状態です。 §4-3のとおり、話した内容が自社の側でテキストになっていなければ、参照されるのは第三者が要約した内容になります。
★ただし、どの種類の情報源が全体としてどれだけ引用されるかという構成の話は扱いません。 AIは自社の何を引用しているかの領分です。ここで見ているのは、自社の話した内容に対応するテキストが参照経路に乗っているか、という自社側の話です。
8-7. 再計測のタイミングを、イベントに紐づける
一度の測定では何も分かりません。同じ質問を同じ条件で、決まったタイミングで繰り返します。
- 決算説明会の開催前(前期の内容がどう語られているか)
- 決算説明会の直後
- 資料PDFの公開後
- 動画の公開後
- 書き起こしまたは要旨の公開後(公開する場合)
- その後、一定期間をおいて
★「書き起こしを公開すれば引用が何%増える」とは書けません。 そのような効果を示す公開データを本稿では確認できませんでした(§9)。書けるのは、公開の前後で観測し、何が変わったかを記録する手順までです。観測された変化が公開によるものかは、他の要因(決算内容、報道量、市況)と分離できません。
8-8. 何回、どこに対して測るか
単一のモデルへの一度の質問の回答を、恒常的な認知とみなすことはできません。同じ質問でも実行ごとに回答は揺れ、モデルによって傾向も異なります。前の会話が残らない状態で、複数回、複数のAIに対して測る必要があります。
Vaipm はAI上の認知を、複数のAIへの合計25回のステートレス計測で測定している。
これは研究から導かれた最適値ではなく、Vaipm の運用設計である。
回数と対象の設計は、測りたいものによって変わります。重要なのは条件を固定して繰り返すことであり、特定の数値そのものではありません。
8-9. 測るときに気をつけること
| やること | やらないこと |
| 質問を層A・B・Cに分けて作る | 層を分けずに「自社について」と聞く |
| 「答えられない」と「誤って答える」を分けて記録する | 両者をまとめて「精度が低い」とする |
| 引用URLの行き先を記録し、イベントに紐づけて再計測する | 引用の有無だけを数え、思い立ったときに測る |
| 公開の前後を観測し、変化を記録する | 変化を公開の効果として説明する |
| 棚卸し表で欠落の所在を可視化する | 露出量を目標値にする |
★最後の行について。AI上の露出量をIRの正式な指標として推奨した規制当局や職業団体の一次資料は、本稿で確認した範囲では確認できませんでした。 露出量ではなく、話した内容のどの層まで届いているか、回答が何を引用しているかを見るほうが実務に適していると考えます(本稿の推論です)。