弁護士石井です。
以前に、PDFファイルを読み込んでチャットできる「Chat with any PDF」を酷評しました。
https://sagamigawablog.com/chatwithanypdf/
Twitter等では好評のようなのですが、私にとってはイマイチ。英語の論文などを読むには良くて、日本語ファイルだとイマイチなのでしょうか。
大量データのインプット方法を仕事の合間に色々試していたのですが、なかなかうまく行かない日々が続いていました。
ChatGPTのプラグインでPDFを読む
ここで、ChatGPTのプラグインが来ました。
有料会員に徐々に解放されているものです。
その中で、AskYourPDFのプラグインを試してみました。
ネット上にあるPDFファイルのURLからPDFを読み込み、その内容をChatGPTでやりとりできるというものです。
PDFファイルの読み込みの精度が「Chat with any PDF」よりも遥かに良かったです。
プラグインなので、元になるAskYourPDFサービスもチェックしてみたところ、こちらはイマイチでした。なぜでしょう。
また、ChatGPTの別のプラグインで、ChatWithPDFという、いかにも使えそうな名前のものもあったのですが、こちらはPDFを読み込ませるだけでエラーになってしまいました。
そのため、今回は、「Chat with any PDF」とプラグインAskYourPDFの読み込み精度を比べてみます。
ChatGPTのプラグインの使い方
ChatGPTはすぐに仕様が変わるので、いつまでこの説明が通じるかわかりませんが、私のときには、ChatGPTの左下からセッティングに入ると、追加メニューができていました。
ここでプラグインにチェックを入れると、ChatGPTの新しいチャット画面で選択できるようになります。
ストアに行くと、利用可能なプラグインが複数あるので、そこでインストールします。
食べログを入れると、飲食店の新しい情報を取得でき、店を決める相談をChatGPTでできる感じですね。旅行などでも同じです。
要は、プラグインを入れることによって、特定の情報を前提にチャットできるようになるわけですね。
プラグインをインストールしていると、新しいチャット欄で、プラグイン選択時に小さいアイコンが出てきて、どのプラグインを使うかチェックできます。
PDFの取り込み
ここでAskYourPDFにチェックを入れると、PDFを読んでくれることになります。
今回、使ったのは国民生活センターのサイトにアップされている、ADRの報告書。
https://www.kokusen.go.jp/pdf/n-20220921_3.pdf
Chat with any PDFではリンクを読み込ませます。
AskYourPDFでは、
「https://www.kokusen.go.jp/pdf/n-20220921_3.pdfの内容を教えて」
のように聞くと、読み込んでくれます。
PDF内の表の読み込み
Chat with any PDFでは、最初に要約を提示してくれ、代表的な質問が３つ表示されます。
まず、ADRの件数が増加傾向にあるのか減少傾向にあるのかを質問してみました。
示されていないとの回答でした。
元の国民生活センターのファイルでは、年度ごとに件数が表で示されています。
どうやら、表を読み込むことができていないようでした。
これに対し、AskYourPDFで聞いてみると
表のデータを把握し、年度ごとにまとめてくれ、説明をしてくれています。
優秀。
PDF内の解決事例のピックアップ
元のファイルでは、どのようなトラブルがあり、解決されたのか具体例が多数示されていましたので、それをピックアップできるか確認してみました。
Chat with any PDFだと、具体的な解決事例は記載されていないとの回答でした。
最初の方に書かれている表は読み込んでいるのですが、後半に書かれている具体例は読み込めていない様子。
AskYourPDFでは、具体例を複数ピックアップしたうえで、詳細をいくつか要約してくれました。
優秀です。
AskYourPDF、すごくない！？
PDF内の個別事例の読み込み
では、解決事例のなかで、気になったパスワード解除サービスに関する紛争について質問してみます。
もはや引き立て役にしか思えないChat with any PDFにも聞いてみます。
事案が書かれているということは読み込んできました。
要約も合っていそう。
これは、巻き返しなるか！？
「和解が成立しなかったため、手続きは終了したという結果になっています。」
とのことなので、元ファイルでチェックしてみます。
あの、、、和解が成立したって書いてありますけど。
思いっきり逆の結論で説明されています。嘘をつかれてしまうのは困りますね。
では、AskYourPDFに聞いてみましょう。
途中までは良い感じだったのですが、同じチャット内で、同じ回答を繰り返すエラーが。
間違いを指摘すると、別事例を解説し始めました。
違うのではないかと再指摘すると、元のページに戻って分析するものの、和解成立かどうかは書かれていない、でも解決したとされて、分析が中途半端になっています。
うーん、人狼のときのやりとりみたいに、おかしいことになってしまっていますね。
AskYourPDFの読み込みの仕組み
ChatGPTのプラグインでは、ChatGPTアイコンの右側のプラグイン部分を開くと、
どのようなやりとりがされたのかを確認することができます。
これもすごい。
ここで、AskYourPDFのやりとりを見てみます。
たとえば、最初の増加傾向か減少傾向かという質問に対しては、
「ADRの件数 増加 減少」というクエリを抜き出して質問をし、回答を引っ張ってきているものです。
PDFの分析結果、ページ数なども記載されています。
パスワードの解除サービスに関する紛争について質問したときには、
これがクエリとなり、PDFで調べた際、該当の紛争ページだけではなく、他の事例も読み込んでいます。
おそらく、「パスワードの解除サービスに関する紛争」という言葉から類推し、類似事例もピックアップしているものと思われます。
長いのですべては載せませんが、読み込んでいた紛争は、
【事案 8】データ復旧サービスの解約に関する紛争
【事案 19】モバイルデータ通信サービスの解約に関する紛争
【事案 15】データ復旧サービスの解約に関する紛争
でした。
これらの紛争ページには、「パスワードの解除」などというキーワードはありませんでしたが、パソコンやデータ、スマホのような用語があり、関連する紛争だと分析してピックアップしたのでしょう。
間違いを指摘した際に、ChatGPTが「違う事例だったか」と勘違いし、違う事例を説明し始めたものと推測されます。
AskYourPDFの一番の問題
今回のケースで、一番の問題は、パスワード解除サービスに関する紛争の説明で、和解結果を説明してくれなかった点にあります。
これがなぜかと分析してみると、
AskYourPDFの読み込みが、１６ページだけになっていることに気づきました。
実は、元データでは、１６ページから１７ページにかけて、この紛争に関する報告が上がっています。
そして、和解の結果などの最終結果は１７ページに書かれているのです。
AskYourPDFは１７ページを読み込んでいないので、回答を間違えたわけです。
一番の問題は、日本語の文章では、１６－１７ページは連続したものとわかるのに、PDFの読み込みで、別ファイルのように取り扱ってしまっていた点でしょう。
大量データを取り扱えない仕組みから、ページ単位で分割していることから、このような仕組みになってしまっている可能性が高いです。
これだと、本や判例のPDFを読み込ませても、ページが変わるとデータを取り出せないエラーが出てしまいそうです。
ページごとに、項目がまとまっている１ページ１コンテンツのPDFなら良いのでしょうが。
AskYourPDFの分析ステップ
では、解決結果が書かれている１７ページを指定すれば読み込めるのでしょうか。
これを質問してみました。
しかし、読み込めませんでした。
そこで、読み込むプロセスを質問してみました。
うん、人狼Chatでやっていた方法ですね。ミスが出たらプロセスを確認する。
仕組みは分かりました。
全ページの情報を把握しているものの、ページ指定してのデータベース呼び出しは難しいとの回答でした。
しかし、そもそも１７ページを把握できていない可能性がありそうです。
そこで、元のPDFファイルにある１７ページの内容、「返金額」「20万円」「和解」で検索されそうな質問をしてみました。
キーワード検索なら、１７ページがヒットするはずです。
しかし、ヒットせず。キーワード検索をしても、そのままヒットするはずの質問なのに、です。
おそらく、１７ページの内容がデータベースに入っていないものと思われます。
ベクトルデータベースへの保存方法について質問したものの、これ以上のプロセスは明らかにされませんでした。
PDFファイルの読み込み、データベースへの保存の際に、何らかの省略をしているとしか考えられないのですが、どうなのでしょうか。ChatGPTの上限を上回るインプットをできるのは素晴らしく魅力的なのですが、重要情報が削除されてしまっては活用しにくいところです。
とはいえ、読み込んでくれた情報は、ChatGPTの上限を上回っており、そこでのやりとりは優秀なので、これは結構使うことになりそうです。
GPT4使用回数で制限がかかり、今日はここまでとなりました。
AskYourPDFプラグインのレビューまとめ
いずれも日本語ファイルでの使用ですが、
Chat with any PDFは頻繁に嘘をつく、
AskYourPDFは、たまに間違える程度だと感じました。
Chat with any PDFがイマイチだった人は試してみると良いかもしれません。
上記のとおり、問題なのは、PDFが読み込めていない箇所であり、読み込めている部分についての応答は、ChatGPTのやりとりと同じく、しっかりしたものとなっています。
AskYourPDFについては、私も別ファイルで試していく予定です。
コメント