AI Agentを使うようになって便利なことは多くてメリットは十分すぎるほどあるのだけど、出力が非決定論的なので困ることも多々ある。

今日は、AIが昨日までできていたことができなくなり、プロンプトを打ち直していた。プロンプトをちょっと工夫すれば昨日までと同じ出力が得られた。けど「よしなにやってくれていた」しきい値が微妙にずれている。モデルが変わったのか、確率的な問題なのか。コンテキストウィンドウのバランスが崩れたからなのかとか、原因がよくわからない。AI側を自分がコントロールできてないのでブラックボックスだ。

自分ひとりで使うならプロンプトは自分自身も学習して改善していってるので使いこなすうえであまり支障は感じていない。元々そういうものだと思っているし。

だけど使う側のユーザーはそうではない。できるだけユーザーによりそった「よしなにとりはからってくれる」AIが良いAIである。

この問題に対していま自分が打てる手はプロンプトのInstructionや参照知識を改善することだけだ。ただそれが暗闇で探っているような気持ち悪さがあるし、必ず改善するという保証もなくて無駄なことやってるのではという徒労感もある。