>>234 MemoryかWorldInfoに英文が入力されているのかな？ New Session→Keep Memory and World Info?のチェックオフ でOKして試してみるとどうなります？ 0239名無しさん＠ピンキー (ﾜｯﾁｮｲ b6c6-Hmna)2024/04/06(土) 19:16:44.42ID:vN0Ur5yH0 話者の名前が英語になってるとそっちに釣られるとかあるで 0240名無しさん＠ピンキー (ﾜｯﾁｮｲ 52dc-yyZt)2024/04/06(土) 19:19:32.09ID:U2FfXq950 mlxでcommand r plus 4bit版動かしてるMac使いおらん？ M2 Max RAM96GBで動かしたんだが↓みたいにぶっ壊れたAIみたいな出力しか出さないんよね 誰か何か知ってたら教えてクレメンス
Prompt: hello , I have a problem with the "グリーン" color. I have a "green" color in my palette, but when I use it, it is not the same color. I have a "green" color in my palette, 0241名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/06(土) 19:22:50.53ID:???0 LightChatAssistant使う用のガイドならInstruct Templateの変更にも触れておいた方がいいんじゃない？ Mistralベースだからフォーマットは[INST] [/INST]の方がいいはず 0242名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/06(土) 19:25:07.45ID:???0>>240 MLXは使ったことないけどこれと同じかな？ ここに載ってるようにtransformersアップデートしたら直るかも
<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system message}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
Context Template周りのお勧めとかあるんか？ ワイは最近までNoromaidで遊んでたのでNoromaidのままになってたのをRoleplayにしたらちょっと安定した気がするんやが 0270名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:03:03.62ID:SYErmO0F0 うーん、やっぱり変なトークンが挿入されて内容がめちゃくちゃになる事が結構あるな これが量子化の影響だったらもうどうしようもないが・・・ 0271名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:05:51.98ID:???0>>268 スペシャルトークンっていう特殊なトークンだから必須だね >>267の最後に<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>入れるとマシになるはず 0272名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:07:18.28ID:SYErmO0F0>>271 画像だと見切れてるけど、一応それも書いてあるよ 0273名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:10:08.76ID:SYErmO0F0 全文としては ""<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|># System Preamble ## Basic Rules Answer user's request. Language consistency should keep and should not be mixed in the answer. You must put tag </s> at the last of your answer.<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|> Q:{prompt} A:""" 0274名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:27:32.31ID:???0>>273 うーん、となるとおかしくはなさそうだな… 0275名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:29:59.04ID:SYErmO0F0 llama.cppがまだ新アーキテクチャーに対応し切れてない可能性もあるから、とりあえずmasterがリリースされて上手くいかなかった時に考え直すよ 0276名無しさん＠ピンキー (ﾜｯﾁｮｲ 3280-bgja)2024/04/07(日) 07:52:10.65ID:???0 話してる内容と出力させた内容のギャップが酷いwwwww 0277名無しさん＠ピンキー (ﾜｯﾁｮｲ 52dc-flrs)2024/04/07(日) 08:33:10.96ID:???0>>265 俺もM2maxだけどそのスピードでるなら実用的だな 今んとこmlx版はあかん 0278名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 08:39:03.31ID:SYErmO0F0>>277 速度は全然問題ないよ 感覚としてはkarakuriとかと一緒かな？
皆様ありがとうございました！ 0333名無しさん＠ピンキー (ﾜｯﾁｮｲ bb72-eYV/)2024/04/09(火) 02:06:48.14ID:???0>>330 http://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/ これのTrain_Data_FとTrain_Data_Gを結合したので試したことあるけどあんま変わらなかったわ T Testの方に対するPPL測ってみたりもしたけどむしろ英語のやつ使ったものより（ごく僅かだけど）悪化してた 0334名無しさん＠ピンキー (ﾜｯﾁｮｲ c7c0-9UMa)2024/04/09(火) 10:01:52.50ID:estv7l4p0 LLM版のGapの登場が待たれる 0335名無しさん＠ピンキー (ﾜｯﾁｮｲ b6fe-hBD6)2024/04/09(火) 11:45:25.62ID:nxpHhfzT0>>323 あかん、昨日接続確認して、時間切れで試せてなかったんやが、いま実際にプロンプト入力してみたらうまくやり取り出来てない模様 freqesncy penaltyとpresense penaltyが特定できない、ってエラーとともに、”...”って出力返ってくるんやが、ワイは何を見落としとるんやろうか？ 0336名無しさん＠ピンキー (ﾜｯﾁｮｲ 2791-aGYJ)2024/04/09(火) 12:36:56.77ID:???0>>333 うーん 結局は英語データでも問題ないのかもね groups_merged.txt ってのがhfに上がってるけどwiki-trainより軽くて使いやすい cudaオンにすればimatrixも爆速になるし 0337名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-M/hT)2024/04/09(火) 16:07:40.93ID:???0 koboldうぷで来たね R+は次回か 0338名無しさん＠ピンキー (ﾜｯﾁｮｲ d3d2-Vlac)2024/04/09(火) 17:24:16.92ID:???0 Pulled and merged new model support, improvements and fixes from upstream. (Note: Command R Plus support is not yet included yet, it may be added in a future patch release.)
