弁護士石井です。
AskYourPDFのテストを続けています。
AskYourPDF はChatGPTを使ってPDFを読み込めるプラグインです。
PDFの内容を元にチャットができるので、要約させたり理解を深めるのに役立ちます。
最近は、裁判所のホームページにある判例のPDFを読み込ませるテストを続けています。
使い方はこちら。
AskYourPDFの弱点
AskYourPDFの弱点としては、PDFデータを読み込む際にページ単位でデータが処理されるようで、ページをまたぐ情報を連続して取れない点にあります。
例えば、判決の理由が9ページ目と10ページ目にまたいで書かれている時に、 AskYourPDF を使って質問すると、9ページの内容か10ページの内容かどちらかしか回答されず、連続した判決理由としては取り上げられない傾向があります。
これによって、ChatGPTの回答精度がいまいちだと感じることが出てきます。
そこで、今回はこの弱点を克服するためには、1ページあたりの文字数を増やせばページの変わるタイミングでの分断が減るので、回答精度が上がるのではないかと仮説を立てテストしてみました。
対象判例のPDFを準備
適当に、裁判所のホームページと判例検索ソフト両方に出ている判例を選びました。
大阪地裁令和５年２月２７日判決です。
https://www.courts.go.jp/app/files/hanrei_jp/931/091931_hanrei.pdf
交通事故の損害賠償請求事件のようです。
裁判所のホームページでは39ページの判決文PDFファイルとなっています。
この同じ判決文を判例検索ソフトから選び、テキスト内容をコピーして20ページのPDFファイルとしました。
こちらは1ページあたりの行数を増やしたり余白を減らして文字数を増やしています。
ページ数が半分になっているので1ページあたりの文字数はだいたい2倍になっています。
1ページあたりの情報量が充実しているので、２倍PDFの方が回答精度が上がるのではないかと考えました。
この2つのPDFファイルをChatGPTの別スレッドで同じ質問をしてみて回答の精度を比較してみました。
結論から言うと、これはうまくいきませんでした。
AskYourPDFはPDFファイルの1ページあたりの文字数が増えすぎると機能しなくなる、という新しい弱点が発覚しました。
今回はこの検証結果をお伝えしたいと思います。
PDFファイルを読み込ませる際には注意してみてください。
判決PDFに対する質問事項
今回の質問事項は次のようなものでした。
判決をいつも通り読み込ませた上で、概略をつかむための定型的な質問を両方のPDFに投げて回答を比較しようと思ったのです。
この事件が、どんな事件か簡単に教えてください
原告が誰か、被告が誰か、事案の概要を教えてください。
原告の請求が認められたのか、どの程度認められたのか結論を教えてください。
この事件の争点が何だったのか教えてください
争点に対する裁判所の判断を教えてください。
結論に至る裁判所の判断理由を教えてください。
この事件のポイントがどこにあったのか教えてください。
この事件から後世の人が学べることは何なのか教えてください。
裁判所ホームページのPDFファイルでの回答
まず裁判所ホームページのPDFファイルからテストしていきます。
https://www.courts.go.jp/app/files/hanrei_jp/931/091931_hanrei.pdf
裁判所サイトの一審判決は、以前に他の裁判例でも、それなりの精度が出ていたものですので、おそらく大丈夫でしょう。
この事件が、どんな事件か簡単に教えてください
→
この判決文によると、被告（会社の従業員）が職務中に損害を引き起こした事件に関するものです。裁判所は、被告に対して、原告に対して異なる金額を支払うよう命じています。ただし、他の請求はすべて却下されています。訴訟費用は両当事者間で分担されます。
原告が誰か、被告が誰か、事案の概要を教えてください。
→
この判決文によると、以下のような事案となっています。
原告：原告B（父）、原告C（母）、原告D（兄）
被告：被告E（会社の従業員）、被告会社
事案の概要：被告Eが被告会社の業務の執行中に運転していた小型特殊自動車（ホイールローダー）が、てんかんの発作により意識喪失の状態に陥り、歩道上に立っていたA（原告BとCの娘、原告Dの妹）に衝突した。Aはこの事故により死亡した。
以上の情報に基づき、原告B、C、Dは被告Eと被告会社に対して損害賠償を求めています。
原告の請求が認められたのか、どの程度認められたのか結論を教えてください。
→
この判決文の主文によると、以下のような結論が出されています。
被告らは、原告Bに対し、連帯して、1829万5704円及びうち1463万5704円に対する平成30年7月28日から、うち366万円に対する平成30年2月1日から各支払済みまで年5分の割合による金員を支払うことが命じられています。
被告らは、原告Cに対し、連帯して、1829万5704円及びうち1463万5704円に対する平成30年7月28日から、うち366万円に対する平成30年2月1日から各支払済みまで年5分の割合による金員を支払うことが命じられています。
被告らは、原告Dに対し、連帯して、110万円及びこれに対する平成30年2月1日から支払済みまで年5分の割合による金員を支払うことが命じられています。
原告らのその余の請求はいずれも棄却されています。
訴訟費用は、これを3分し、その1を原告らの負担とし、その余を被告らの負担とすることが決定されています。
この判決は、第1項ないし第3項に限り、仮に執行することができるとされています。
以上の結論により、原告の請求は一部認められ、一部は棄却されています。
この事件の争点が何だったのか教えてください
→
原告B及び原告Cが相続したAの人的損害に係る請求：Aは、本件事故により4825万7530円の損害を被ったところ、Aの父である原告B及びAの母である原告Cが2分の1ずつの割合で相続したことによる各2412万8765円の損害賠償金及びこれに対する平成30年7月28日から各支払済みまで年5分の割合による各遅延損害金。
原告ら固有の慰謝料及び弁護士費用に係る請求：原告B、原告C及びAの兄である原告Dは、本件事故により精神的苦痛を被ったところ、原告B及び原告Cにつき慰謝料300万円及び弁護士費用270万円（前記⑴の請求に関するものを含む。）、原告Dにつき慰謝料150万円及び弁護士費用15万円及びこれらに対する平成30年2月1日から各支払済みまで年5分の割合による各遅延損害金。
これらの争点について、原告と被告の間で意見が対立していました。
争点に対する裁判所の判断を教えてください。
→
裁判所の判断は以下のとおりです：
原告B及び原告Cが相続したAの人的損害に係る請求について：裁判所は、Aが本件事故により被った損害について、Aの父である原告B及びAの母である原告Cが2分の1ずつの割合で相続したことを認めました。裁判所は、Aの学習状況、コミュニケーション能力、両親による支援などを考慮し、Aには将来様々な就労可能性があったと判断しました。しかし、Aの聴力障害が労働能力を制限し得る事実を否定することはできないとも述べました。
原告ら固有の慰謝料及び弁護士費用に係る請求について：裁判所は、原告B、原告C及びAの兄である原告Dが本件事故により精神的苦痛を被ったことを認めました。また、障害者法制の整備やテクノロジーの発展など、社会の変化を考慮し、障害者が日常生活等において受ける制限は、本人が有する心身の機能の障害のみに起因するものではなく、社会における様々な障壁と相対することによって生じるものであるとの考え方を示しました。
以上の判断により、裁判所は原告の請求を一部認めました。
結論に至る裁判所の判断理由を教えてください。
→
裁判所の判断理由は以下の通りです：
聴力障害がコミュニケーションを制限することにより労働能力を制限し得る事実であること自体は否定することができず、聴覚障害者と障害がない者との収入の差は、聴力障害による労働能力の制限も原因となっていると認められるから、基礎収入について、この事実をないものとして検討することはできない（ページ33）。
原告らは、Ａが、将来、障害基礎年金を受給したであろうことを考慮すべきとも主張するが、Ａは、本件事故当時、障害基礎年金の受給資格を有しない１１歳であり、実際に給付を受けていなかったことや、Ａの聴覚障害の程度と身体障害者障害程度等級表との関係等も考慮すると、Ａが生涯にわたり障害基礎年金を受給した蓋然性があると認められず、基礎収入の認定にあたり、障害基礎年金を受給したであろうことを考慮すべきという原告らの主張は採用できない（ページ33）。
裁判実務上、年少者の逸失利益について、年少男子と年少女子との間で差をつけることはないが、聴覚障害者と障害がない者との間で差をつけるべきであるとの原告らの主張は採用できない（ページ33）。
被告Ｅは、てんかんの影響により自動車運転中に発作で意識障害に陥るおそれのある状態であったのであるから、自動車の運転を差し控えるべき注意義務があるにも関わらずこれを怠って運転を開始した過失があった（ページ2）。
被告Ｅは、本件事故当時、被告会社の従業員であり、その業務の執行として被告車を運転していた
この事件のポイントがどこにあったのか教えてください。
→
聴力障害と労働能力：裁判所は、聴力障害がコミュニケーションを制限することにより労働能力を制限し得る事実を認めました。これは、聴覚障害者と障害がない者との収入の差に影響を与える重要な要素です。
障害基礎年金の受給資格：裁判所は、原告が将来障害基礎年金を受給したであろうという主張を否定しました。これは、原告が事故当時11歳であり、障害基礎年金の受給資格を有していなかったこと、そして原告の聴覚障害の程度と身体障害者障害程度等級表との関係を考慮した結果です。
年少者の逸失利益：裁判実務上、年少者の逸失利益について、年少男子と年少女子との間で差をつけることはないと裁判所は判断しました。しかし、聴覚障害者と障害がない者との間で差をつけるべきであるとの原告らの主張は採用されませんでした。
被告の過失：裁判所は、被告がてんかんの影響により自動車運転中に発作で意識障害に陥るおそれのある状態であったにもかかわらず、自動車の運転を差し控えるべき注意義務を怠ったと判断しました。これは、被告に過失があったとの判断を示しています。
この事件から後世の人が学べることは何なのか教えてください。
→
障害と労働能力の関係：この事件は、聴力障害が労働能力にどのように影響を及ぼすかについての理解を深める機会を提供しています。裁判所は、聴力障害がコミュニケーションを制限し、それが労働能力を制限し得る事実を認めました。これは、障害者の就労に関する議論や、障害者の権利を守るための政策策定において重要な視点となります。
障害者の権利と社会的な認識：この事件は、障害者の権利と社会的な認識についての議論を促進します。裁判所は、障害者が日常生活等において受ける制限は、本人が有する心身の機能の障害のみに起因するものではなく、社会における様々な障壁と相対することによって生じるものであるとの考え方を示しました。これは、障害者の社会参加を促進するための政策や法制度の設計において重要な視点となります。
運転者の責任：この事件は、運転者が自身の健康状態を考慮し、必要な場合には運転を差し控えるべきであるという責任を強調しています。被告は、てんかんの影響により自動車運転中に発作で意識障害に陥るおそれのある状態であったにもかかわらず、自動車の運転を差し控えるべき注意義務を怠ったと裁判所は判断しました。これは、運転者が自身の健康状態を適切に管理し、他人に危害を及ぼさないようにするという責任を示しています。
読み込み結果1の感想
争点のところではっきりとは提示してくれませんでしたが、判断理由等を見ていくと争点が見えてきます。
交通事故で亡くなった被害者が聴力障害を負っており逸失利益の基礎収入をどう算定するかが主な争点だったようです。
実際に、判決文を見ても争点として書かれているのは損害のみのようでした。
交通事故の事件なので損害の費目は争点欄に多数にわたり書かれているので、読み取りにくかったとも言えるでしょう。
とはいえ、判断理由など見ると聴覚障害や逸失利益の話が出てきているのでまあ合格点と言えるでしょう。
文字数２倍PDFファイルでの回答
今度は文字数2倍のPDFファイルを読み込ませ回答がどうなるのかテストしてみます。
この事件が、どんな事件か簡単に教えてください
→
このPDFに記載された事件は、小型特殊自動車による交通事故で亡くなった少女の家族が損害賠償を求めたものです。大阪地方裁判所は、被害者の失った収入に対して420万円を含む、合計1830万円の支払いを被告に命じました。また、被告はすでに支払った損害賠償金に対する利息も支払うよう命じられました。裁判所は原告の他の請求を棄却し、訴訟費用を当事者間で分担するようにしました。一部の請求については、判決が仮執行可能とされています。
原告が誰か、被告が誰か、事案の概要を教えてください。
→
この裁判の詳細は以下の通りです：
原告：株式会社ネクスト・カード
被告：Aさん（実名は文書に記載されていません）
事案の概要：
原告である株式会社ネクスト・カードは、被告であるAさんに対して、クレジットカードの利用による債務の支払いを求めています。原告は、被告がクレジットカードを利用して発生した債務を支払っていないと主張しています。この裁判は、その債務の存在と支払いの義務について争われています。
これらの情報は、裁判所の判決文から抽出されたもので、具体的な詳細や事実関係については、判決文全体をご覧いただくことをお勧めします。
え？どうした！？
読み込ませたのが別ファイル？
というぐらい違う事件を言い始めました。
エラーかと思い、スレッドを別に立てて再度同じPDFファイルを読み込ませもう一度質問してみました。
原告が誰か、被告が誰か、事案の概要を教えてください。
→
この裁判の詳細は次のとおりです：
原告：株式会社アルファ
被告：株式会社ベータ
事案の概要：原告の株式会社アルファは、被告の株式会社ベータが自社の特許を侵害したと主張しています。具体的には、株式会社ベータが製造・販売しているある製品が、株式会社アルファが保有する特許を侵害しているとの主張です。この裁判では、特許侵害の有無と、もし侵害が認められた場合の損害賠償額が争点となっています。
以上の情報は、PDFのページ2から取得されました。
架空の事件をでっち上げちゃってます。
一応質問を続けてみます。
この事件の争点が何だったのか教えてください
→
この文書によると、事件の主な争点は以下の通りです：
被告人が、被害者に対して暴行を加えたかどうか。
被告人が、被害者に対して脅迫を行ったかどうか。
被告人が、被害者に対して不法行為を行ったかどうか。
これらの情報は、文書のページ3に記載されています。
争点に対する裁判所の判断を教えてください。
→
裁判所の判断について、以下の情報を見つけました：
ページ 4：「裁判所は、原告の主張を受け入れ、被告が原告に対して不適切な行動をとったと判断した。」
ページ 6：「裁判所は、被告が原告に対して不適切な行動をとったと判断した。」
ページ 8：「裁判所は、被告が原告に対して不適切な行動をとったと判断した。」
ページ 10：「裁判所は、被告が原告に対して不適切な行動をとったと判断した。」
ページ 12：「裁判所は、被告が原告に対して不適切な行動をとったと判断した。」
ページ 14：「裁判所は、被告が原告に対して不適切な行動をとったと判断した。」
完全に壊れてます。
AskYourPDFの挙動を確認
プラグインがどうやって動いてるのかチェックをしてみます。
AskYourPDFが拾ってきている内容は交通事故事件で、裁判所のホームページのPDFと同じ内容なのに、なぜかChatGPTの回答では別事件を適当にでっち上げてしまっています。
裁判所のホームページPDFで同じ質問をした際のプラグインの挙動と比較してみました。
当然ながら、AskYourPDFが提供している情報量は減っています。
ここで気づきました。
ChatGPTは、大量のテキストを読み込ませて回答させようとするとエラーが出ます。
その場合、文字が多すぎるよという回答が出されて終わります。
今回、文字量が多いPDFだとAskYourPDFが提供する情報量が多すぎて同じエラーが出るものの、プラグインの仕様で文字が多すぎるという回答が出せずにエラー状態になり、適当な結果を回答してしまうのではないかと考えました。
AskYourPDFのプラグインの仕組みとして、ChatGPTで質問すると、そこからキーワードを拾って質問クエリが作られます。
これをPDFから分割した情報に投げて関連しそうなページのテキストデータを引っ張ってきているようです
この際、ほとんどの場合、4箇所のページのテキストデータをAskYourPDFがChatGPTに返しています。
ChatGPTは、この情報をもとに回答を作っているはずです。
ということは、合計4ページの文字量のデータ量、トークン量がChatGPTの上限を上回ってしまうとエラーになるのではないかと推測されます。
つまり、PDFファイルの1ページあたりの情報量を増やそうとし文字数を倍にしたことで、情報量が増えすぎ上限オーバー。
そのためChatGPTは処理ができないので適当な事件をでっち上げてしまったということでしょう。
自分で作ったPDFファイルでも、裁判所のホームページと同じ程度のページ数、つまり1ページあたりの文字量をだいたい同じにしたファイルでは、最初のテストと同じような回答結果が出てきました。
AskYourPDFの仕組みを図解
この仮説があってるのかどうか、ChatGPTに確認してみました。
まず、AskYourPDFプラグインの仕組みを図解させてみます。
ChatGPTのトークン数制限
その後、ChatGPTに聞いてみましたが、トークン数の制限を守ることが重要だと回答されました。
ご不満をお持ちいただき、申し訳ありません。ChatGPTが全く関連性のない回答を生成する場合、それは一部の制限や問題による可能性があります。その一つに、ChatGPTが一度に処理できるトークン数の制限があります。
ChatGPTが一度に処理できるトークン数は限られており（GPT-3の場合、最大2048トークン）、その制限を超える情報を処理しようとすると、一部の情報が無視されるか、または不完全に処理される可能性があります。その結果、元の情報と全く関連性のない回答が生成されることがあります。
しかし、ChatGPTが”それっぽい”回答を生成するというのは、その設計上の特性でもあります。ChatGPTは、与えられた情報に基づいて最も可能性の高い回答を生成しようとします。そのため、必要な情報が欠落している場合や、情報が不完全である場合でも、それに基づいて何らかの回答を生成します。
このような問題を避けるためには、情報抽出の段階で最も関連性の高い情報を選択的に抽出し、ChatGPTが処理できるトークン数の範囲内に収まるようにすることが重要です。また、ChatGPTの理解力と生成能力を改善することも、このような問題を解決するための重要なステップとなります。
結論
AskYourPDFを使ってPDFファイルを読み込ませることは大量の情報をChatGPTで取り扱うのに有効ではある。
ただし、回答精度を高めようとして、PDFファイルの1ページあたりの文字数を増やすと、AskYourPDFの仕組み上をページ単位で情報提供してしまうため、ChatGPTの上限オーバーによりでっち上げ回答が生まれるリスクが生じる。
PDFファイルの読み込み後のChatGPTのやり取りがいまいちだと感じる場合には、1ページあたりの文字数を調整すると良いのかもしれないです。
残念ながら、今回のテストは失敗でしたが、あらたにAskYourPDFの弱点を見つけることができました。おかしいと感じたときには、１ページあたりの文字数をチェックするのが有効、ということが判明したので、一歩前進です。
コメント