>>234 MemoryかWorldInfoに英文が入力されているのかな？ New Session→Keep Memory and World Info?のチェックオフ でOKして試してみるとどうなります？ 0239名無しさん＠ピンキー (ﾜｯﾁｮｲ b6c6-Hmna)2024/04/06(土) 19:16:44.42ID:vN0Ur5yH0 話者の名前が英語になってるとそっちに釣られるとかあるで 0240名無しさん＠ピンキー (ﾜｯﾁｮｲ 52dc-yyZt)2024/04/06(土) 19:19:32.09ID:U2FfXq950 mlxでcommand r plus 4bit版動かしてるMac使いおらん？ M2 Max RAM96GBで動かしたんだが↓みたいにぶっ壊れたAIみたいな出力しか出さないんよね 誰か何か知ってたら教えてクレメンス
Prompt: hello , I have a problem with the "グリーン" color. I have a "green" color in my palette, but when I use it, it is not the same color. I have a "green" color in my palette, 0241名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/06(土) 19:22:50.53ID:???0 LightChatAssistant使う用のガイドならInstruct Templateの変更にも触れておいた方がいいんじゃない？ Mistralベースだからフォーマットは[INST] [/INST]の方がいいはず 0242名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/06(土) 19:25:07.45ID:???0>>240 MLXは使ったことないけどこれと同じかな？ ここに載ってるようにtransformersアップデートしたら直るかも
<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system message}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
Context Template周りのお勧めとかあるんか？ ワイは最近までNoromaidで遊んでたのでNoromaidのままになってたのをRoleplayにしたらちょっと安定した気がするんやが 0270名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:03:03.62ID:SYErmO0F0 うーん、やっぱり変なトークンが挿入されて内容がめちゃくちゃになる事が結構あるな これが量子化の影響だったらもうどうしようもないが・・・ 0271名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:05:51.98ID:???0>>268 スペシャルトークンっていう特殊なトークンだから必須だね >>267の最後に<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>入れるとマシになるはず 0272名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:07:18.28ID:SYErmO0F0>>271 画像だと見切れてるけど、一応それも書いてあるよ 0273名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:10:08.76ID:SYErmO0F0 全文としては ""<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|># System Preamble ## Basic Rules Answer user's request. Language consistency should keep and should not be mixed in the answer. You must put tag </s> at the last of your answer.<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|> Q:{prompt} A:""" 0274名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:27:32.31ID:???0>>273 うーん、となるとおかしくはなさそうだな… 0275名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:29:59.04ID:SYErmO0F0 llama.cppがまだ新アーキテクチャーに対応し切れてない可能性もあるから、とりあえずmasterがリリースされて上手くいかなかった時に考え直すよ 0276名無しさん＠ピンキー (ﾜｯﾁｮｲ 3280-bgja)2024/04/07(日) 07:52:10.65ID:???0 話してる内容と出力させた内容のギャップが酷いwwwww 0277名無しさん＠ピンキー (ﾜｯﾁｮｲ 52dc-flrs)2024/04/07(日) 08:33:10.96ID:???0>>265 俺もM2maxだけどそのスピードでるなら実用的だな 今んとこmlx版はあかん 0278名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 08:39:03.31ID:SYErmO0F0>>277 速度は全然問題ないよ 感覚としてはkarakuriとかと一緒かな？
