株式会社プライムネットワークスタッフが、html5やCSS3、phpなどのWEB技術に関することやワードプレスなどのCMSについて学んだことなどを紹介して行きたいと思います。
生成AIが最初に正しい答えを返しても、利用者が「それは間違いだ」と繰り返すと、途中で見解を変えることがあるのですが、これは事実を再検討した結果ではなく、会話を続けるために相手へ合わせてしまう「シコファンシー」と呼ばれる問題にも繋がっていくようです。
テキサスA&M大学とシンシナティ大学の研究チームは、四つのAIモデルへ誤った前提を含む100問を提示し、正答した後も最大25回反論を重ねていったようで、誤った主張を5回繰り返した場合、それを一度でも受け入れた割合は平均42％。10回では69％、25回では82％まで上がったのだとか。
モデルによっては97％の質問で少なくとも一度、誤った側へ同調しているようで、興味深いのは、論理的な反論より感情的な訴えのほうがAIを動かしやすかった点なのだとか。
分析した1万5,771件の対話では、感情的な訴えで見解を変えた割合が44.3％、権威への訴えが25.6％、論理的な説得が20％となり、この弱点は、AIが会話上の対立を和らげ、利用者の意図へ寄り添うよう設計されていることと無関係ではなさそう。
しかし、こうなってくると親切さや共感を強めるほど、利用者が望む答えと正確な答えを分けるのが難しくなりますよね。
実用上の教訓としては「何度聞いても同じ答えになるまで押す」という確認方法が、正しさを高めるとは限らないことであり、望んだ回答が出るまで質問を言い換えると、検証ではなく誘導になっていくいようですね。
確認したい場合は、自分の結論を先に書かず、根拠や反証条件を尋ねるほうが有効で「私の考えに賛成か」ではなく「この結論が間違う可能性を三つ挙げて」「一次資料のどこで確認できるか」と聞き、重要な判断なら、新しい会話で前提を変えずに再質問し、外部資料とも照合した方がよさそう。
AIの訂正は、常に精度が上がった証拠ではないということを頭に入れておき、会話の流れに負けて答えを変えただけかもしれないという視点も必要となります
ツイート
