<|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|>{system message}<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|USER_TOKEN|>Hello, how are you?<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>
Context Template周りのお勧めとかあるんか？ ワイは最近までNoromaidで遊んでたのでNoromaidのままになってたのをRoleplayにしたらちょっと安定した気がするんやが 0270名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:03:03.62ID:SYErmO0F0 うーん、やっぱり変なトークンが挿入されて内容がめちゃくちゃになる事が結構あるな これが量子化の影響だったらもうどうしようもないが・・・ 0271名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:05:51.98ID:???0>>268 スペシャルトークンっていう特殊なトークンだから必須だね >>267の最後に<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|>入れるとマシになるはず 0272名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:07:18.28ID:SYErmO0F0>>271 画像だと見切れてるけど、一応それも書いてあるよ 0273名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:10:08.76ID:SYErmO0F0 全文としては ""<BOS_TOKEN><|START_OF_TURN_TOKEN|><|SYSTEM_TOKEN|># System Preamble ## Basic Rules Answer user's request. Language consistency should keep and should not be mixed in the answer. You must put tag </s> at the last of your answer.<|END_OF_TURN_TOKEN|><|START_OF_TURN_TOKEN|><|CHATBOT_TOKEN|> Q:{prompt} A:""" 0274名無しさん＠ピンキー (ﾜｯﾁｮｲ bb67-eYV/)2024/04/07(日) 02:27:32.31ID:???0>>273 うーん、となるとおかしくはなさそうだな… 0275名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 02:29:59.04ID:SYErmO0F0 llama.cppがまだ新アーキテクチャーに対応し切れてない可能性もあるから、とりあえずmasterがリリースされて上手くいかなかった時に考え直すよ 0276名無しさん＠ピンキー (ﾜｯﾁｮｲ 3280-bgja)2024/04/07(日) 07:52:10.65ID:???0 話してる内容と出力させた内容のギャップが酷いwwwww 0277名無しさん＠ピンキー (ﾜｯﾁｮｲ 52dc-flrs)2024/04/07(日) 08:33:10.96ID:???0>>265 俺もM2maxだけどそのスピードでるなら実用的だな 今んとこmlx版はあかん 0278名無しさん＠ピンキー (ﾜｯﾁｮｲ 7311-b8U7)2024/04/07(日) 08:39:03.31ID:SYErmO0F0>>277 速度は全然問題ないよ 感覚としてはkarakuriとかと一緒かな？
皆様ありがとうございました！ 0333名無しさん＠ピンキー (ﾜｯﾁｮｲ bb72-eYV/)2024/04/09(火) 02:06:48.14ID:???0>>330 http://www.lsta.media.kyoto-u.ac.jp/resource/data/wikitext-ja/ これのTrain_Data_FとTrain_Data_Gを結合したので試したことあるけどあんま変わらなかったわ T Testの方に対するPPL測ってみたりもしたけどむしろ英語のやつ使ったものより（ごく僅かだけど）悪化してた 0334名無しさん＠ピンキー (ﾜｯﾁｮｲ c7c0-9UMa)2024/04/09(火) 10:01:52.50ID:estv7l4p0 LLM版のGapの登場が待たれる 0335名無しさん＠ピンキー (ﾜｯﾁｮｲ b6fe-hBD6)2024/04/09(火) 11:45:25.62ID:nxpHhfzT0>>323 あかん、昨日接続確認して、時間切れで試せてなかったんやが、いま実際にプロンプト入力してみたらうまくやり取り出来てない模様 freqesncy penaltyとpresense penaltyが特定できない、ってエラーとともに、”...”って出力返ってくるんやが、ワイは何を見落としとるんやろうか？ 0336名無しさん＠ピンキー (ﾜｯﾁｮｲ 2791-aGYJ)2024/04/09(火) 12:36:56.77ID:???0>>333 うーん 結局は英語データでも問題ないのかもね groups_merged.txt ってのがhfに上がってるけどwiki-trainより軽くて使いやすい cudaオンにすればimatrixも爆速になるし 0337名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-M/hT)2024/04/09(火) 16:07:40.93ID:???0 koboldうぷで来たね R+は次回か 0338名無しさん＠ピンキー (ﾜｯﾁｮｲ d3d2-Vlac)2024/04/09(火) 17:24:16.92ID:???0 Pulled and merged new model support, improvements and fixes from upstream. (Note: Command R Plus support is not yet included yet, it may be added in a future patch release.)
