0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
Kimiモデルって日本語ができなくはないけどってレベル
DeepSeekみたいな万能さはないよ？
0953名無しさん＠ピンキー (ﾜｯﾁｮｲ f6e0-8zWZ)2025/11/17(月) 16:36:06.37ID:v2kU3YSH0
aquifは文章はなかなかいい感じだけど、最初のリクエストを延々と保持し続けるのか場面の転換ができない感じがする
微妙なサイズの量子化GGUFモデルは日本語をまるっと忘れてたりするので
前段後段に翻訳パイプラインを入れて英語か中国語で投げてやると精度が上がったりする
日英や日中の翻訳に特化したLLMが別途ローカルで動けば良いが
そもそも日本語のデータセット自体がショボすぎて学習するにも……状態らしい
日本がAIのためにやるべき事は質の高いデータセットを作ってオープンにすることだったり
海外企業も良いデータセットあれば勝手に使うし日本語性能が伸びる
0957名無しさん＠ピンキー (ﾜｯﾁｮｲ 02e0-0fx7)2025/11/17(月) 19:08:18.95ID:CQdKEH1j0
25G nic買ってRoCEでpc同士でクラスター構築とかどうなんだろ？面白そうだけど。
0958名無しさん＠ピンキー (ﾃﾃﾝﾃﾝﾃﾝ MM3e-C9XS)2025/11/17(月) 19:36:22.86ID:wZYPMPEYM
>>957
久しぶりにRoCEの語を見たなあ
面白いよ
接続先の別PCのメモリをRAMDISKにして
そこから自PCをブートしたりしてた 0959名無しさん＠ピンキー (ﾜｯﾁｮｲ 02e0-0fx7)2025/11/17(月) 19:46:52.93ID:CQdKEH1j0
>>958
実際面白いのか、やってみようかなぁ。
なんかRoCEで自宅AIクラスター構築って本を見て面白そうだなと思って。
構築してllama とかでモデルを動かせるのか全く未知数だけど、、チャッピーはできるとか言ってた。 0960名無しさん＠ピンキー (ﾜｯﾁｮｲ d384-dWB7)2025/11/17(月) 19:47:20.36ID:HqSeJTyX0
Hereticっていう検閲除去ツールが来たな
誰か使い物になるか試してみてくれ
そこまでやったときはllamaの出る幕では無いかもね
0962名無しさん＠ピンキー (ﾜｯﾁｮｲ 836a-qtAv)2025/11/17(月) 20:04:12.38ID:T96Iz2QW0
nictあたりでコーパス作りゃいいのよ
GENIACなんかやってもどうせしょぼいパラメータ数のしかできないんだから
0963名無しさん＠ピンキー (ﾜｯﾁｮｲ 7eda-0fx7)2025/11/17(月) 20:16:53.96ID:DFXOWySS0
そういうもんなんか？docker でllama うごかしてオープンチャットだっけ、でllm構築したくらいの経験しかないからよくわからん…いろいろ調べてみるか。
0964名無しさん＠ピンキー (ﾜｯﾁｮｲ 326c-NM5O)2025/11/17(月) 21:46:24.71ID:OFt2wigP0
>>957
RoCEに対応できるSwitchが高いんだよなあ 0965名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e31-0fx7)2025/11/17(月) 22:20:04.83ID:DFXOWySS0
>>964
そうなんか。まぁ2pcなら直結でいけるっぽいし、まずそれでやろかなと。 >>960
軽くソースを読んだけど、オリジナルのモデルデータがVRAMに乗らないと高速処理できないっぽい
ハイスペックの有志が検閲除去してくれるのを期待するしかなさそう >>960
元々エロ自体はちゃんと学習していて個人で動かせて検閲の厳しいモデルって何があったっけ？ abliteratedモデルはhereticのURLにも出てくるhuihui-aiが主要モデルで前から出しているが
同じモデルでも指示への追従性が下がったりして取り回しが難しいんや
たぶんモデルを安定動作させるための「べからず」まで自動で取っ払うからやろな
検閲されてるモデルは事前学習からフィルタリングしてるし見かけの検閲解除は意味ないと思うけどな
ローカルならそれこそ数百サンプルを学習してあげるだけでも検閲消えるしわざわざ重みを壊す必要ない
>>971
学習も破滅的忘却で性能低下するよ
qwq-bakeneko-32bは本家QwQ-32Bより日本語が怪しくなってた 0973名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f27-qtAv)2025/11/19(水) 09:26:36.76ID:gdXSAHNg0
強化学習て結局知識とか増えてないんだろ？むしろ多様性を排してしまうとか
macbookproでメモリガン積みするの結構面白い選択肢だったんやな
それ自体がフットワーク軽いオモチャやし
Gemini3凄すぎるキャラクターカード作ってもらったんだけどmistralですらちゃんとそのキャラの話し方で会話が成立する今までGrokエキスパートとかにも頼んでたけど作り方も違うし比較にならないくらい凄い
silly tavern用のキャラカードってこと？
そんなに変わるもんかな？
コンテキストを最大限節約しつつ有用な記述って感じなら進化を感じるけど
Grokに書いてもらったキャラクターカードとGemini3に書いてもらったキャラクターカードを見せてほしい
手動で書いても普通に口調を維持しつつ会話が成立するものだけど、Grokはそれすら出来ないほどダメだったってこと？
glm4.6がchatbot arenaの日本語ランキングにようやく出てきたけど、
ここで言われてたようにローカルの中じゃぶっちぎりの性能だね
どっかにLLMは3.5ヶ月ごとに半分のパラメータで同じ精度を実現できるようになってるってニュースが出てたけどまじでそのくらいの速度かもなぁ
>>979
量子化すると日本語がボロボロになるのがなぁ…… 0981名無しさん＠ピンキー (ﾜｯﾁｮｲ d373-qtAv)2025/11/20(木) 15:00:32.24ID:LWj+TZue0
もうエロていうか変な洗脳止めて不道徳なことも言わせられるようにすればいいのに
0982名無しさん＠ピンキー (ﾜｯﾁｮｲ db11-rib7)2025/11/20(木) 18:22:04.93ID:dHua0i7X0
>>981
AIに暴言吐かれて傷つきました→訴訟へ
こんなことがあり得る国がAIをリードしてるんやで 0983名無しさん＠ピンキー (ﾜｯﾁｮｲ d373-qtAv)2025/11/20(木) 18:22:56.82ID:LWj+TZue0
知るかボケ
でクレーマーは無視すりゃいいのに
訴えられたら無視できんやろ
クレーマーがキチガイすぎるんや
>>980
量子化どのサイズ使ってる？
winならiQ4_xsがギリと思うけど >>985
いま外にいるからモデル名までは分からんけど
俺が試してみたのはUbuntu Linuxでメモリ80GB/VRAM16GB環境だから
かなり無理して圧縮したやつ
メモリ256GBくらいあればマシになるんだろうな >>985
iQ1ならGLM4.6じゃなくても日本語ボロボロかなぁ 128GBでQ2だとまあまあちゃんとしゃべる
Air準備してるらしいからそっちも期待やな
MoEってdenseより量子化に敏感って印象
無理してi1を動かすよりglm airかqwen nextあたり動かしたほうがええやろな
0991名無しさん＠ピンキー (ﾜｯﾁｮｲ 1224-XMuo)2025/11/21(金) 01:56:09.69ID:aliT9MOD0
同感
メモリ128GB環境やがGLM4.6のIQ2XXSよりもQWEN3-235BのIQ4XSの方が目に見えて早いし頭いい
4.6Airとかllama.cppのQWEN NEXT対応が待ち遠しいわ
llamacppのqwen next対応時間かかっとるね
あのprは動くようにするの最優先でパフォーマンスは別prにするって言ってたけど
レビュー段階に入ってからなんだかんだパフォーマンスの部分も手つけ始めとるな
nemotron-nanoも計算に細かいバグがあるんじゃない？って言われてるみたいだし
ハイブリッドモデルは全体を正しく計算できるように設計するのが難しいみたいだね
GLM4.6は量子化の影響めっちゃ受けるね
Q4とQ5でも違いを感じるな
GLM4.5はQ4でもそんなことなかったのに
Q4は出力が時々変になるけどQ5はかなり抑えられる感じ
Q6でやっとオリジナル相当かな？
ただ、小説用途でサクッと読む程度ならQ4でも問題ない感じ
GLM4.6は今まで試してきたLLMの中で一番賢い
メモリ512GB積んだMac Studioくらいのスペックでサクサクと動かしてみたいもんだわ
>>982
そういうのって正直日本の方がリスク高いからこれだけ遅れてるんじゃないのかね 会社が予算100万ｂﾅなんかいい感ｂｶにaiしろって血ｾってるけどmac studio512gb激推しして遊び場にしても許されるかな
M3 Ultraにするなにフルコアで512G積まないと全く意味がない
128GBならM4 maxのほうが速い場合もあるよ。256GBは中途半端だし
となると150万
1000名無しさん＠ピンキー (ﾜｯﾁｮｲ db24-LCpl)2025/11/24(月) 00:02:47.60ID:XTOdUOlz0
いちおつ
10011001Over 1000Thread
このスレッドは１０００を超えました。
もう書けないので、新しいスレッドを立ててくださいです。。。
life time: 92日 10時間 10分 30秒