現代のLLMの仕組みとは、とある単語の次にくる確率の高い単語をどんどん予想するというもの
なので例えば「こんにちは」と与えるとそれに続くような単語を連ねてくる
だが「こんにちは」では対話だと思ってくれない場合があり一人語りをすることがある
「こんにちはお日柄も良く絶好のピクニック日和ですね」みたいな
これのせいでいまいち上手くいっていない人がいるように見える

そこでTEMPLATEが重要になる
モデルにもよるけどPhi-3氏なんかだと
https://huggingface.co/microsoft/Phi-3-vision-128k-instruct

<|user|>{prompt}
<|assistant|>

(説明のために簡素化)
というのTEMPLATEとすることにより

user: こんにちは
assistant:

のような形式になるためUser氏の挨拶に対するAssistantの受け答えとして続く単語を連ねてくれるため対話になるとゆーこと...

OllamaとOpen WebUIで頑張ってたんだけどOllamaではTEMPLATEなどを書いておくModelfileというテキストを書かないと読み込めないのでやっててわかった
このTEMPLATEだとかシステムプロンプトとかにすでに「あなたはアシスタントです」みたいなことが組み込まれているとアシスタントらしい返答になるんだと思う
つまりいわゆる申し訳対応

上手くいってなかった人はこれを活かして引き続き頑張ってみてくれ