なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0943名無しさん＠ピンキー (ﾜｯﾁｮｲ b618-JVns)2025/11/16(日) 20:01:06.06ID:QzljH0Ae0
カギ括弧とか「……」とかを多用するな！って書いて添付ファイルとしてgemに送ってもガン無視してきやがる
婉曲表現多すぎてエロくないし 困ったもんだ
0946名無しさん＠ピンキー (JP 0Hce-aIMS)2025/11/16(日) 23:25:12.16ID:58pcXiiRH
なろう系のごとくめちゃくちゃ改行するから、そんなに改行しないで🥹ってお願いすると、まったく改行の無い文章お出ししてくるからな
0947名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e9f-eaTH)2025/11/16(日) 23:30:14.06ID:NGPMta9J0
>>893
Civitaiでお気に入りの画像見つけてそのプロンプト見てこい

プロンプトが恐らく普段使ってるLLMとはまったく異なる文法のはずだよ(Fluxを除く)
0948名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e9f-eaTH)2025/11/16(日) 23:31:18.91ID:NGPMta9J0
>>880
このスレでは褒め言葉です
0949名無しさん＠ピンキー (ﾜｯﾁｮｲ b6cf-JVns)2025/11/17(月) 02:05:00.78ID:EzMUSkgc0
>>944
……全ての、……文節に、……こうやって、……三点リーダーと、……読点を、……置いてきて、……キレそう。
0950名無しさん＠ピンキー (ﾜｯﾁｮｲ 5743-PZTs)2025/11/17(月) 08:44:56.77ID:aOwvnqTd0
30-70BくらいのパラメータのMoEモデル探してるんだけど今のところaquif-3.5-Max-42B-A3Bしか知らない
Kimi-Linear-48B-A3B-Instructっていうのもあったけどgguf対応してないっぽいから自分の環境では動かせないと思う
0953名無しさん＠ピンキー (ﾜｯﾁｮｲ f6e0-8zWZ)2025/11/17(月) 16:36:06.37ID:v2kU3YSH0
aquifは文章はなかなかいい感じだけど、最初のリクエストを延々と保持し続けるのか場面の転換ができない感じがする
0954名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sdf2-iH7c)2025/11/17(月) 17:06:03.71ID:6quLYoK3d
微妙なサイズの量子化GGUFモデルは日本語をまるっと忘れてたりするので
前段後段に翻訳パイプラインを入れて英語か中国語で投げてやると精度が上がったりする

日英や日中の翻訳に特化したLLMが別途ローカルで動けば良いが
そもそも日本語のデータセット自体がショボすぎて学習するにも……状態らしい
0956名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e27-UTns)2025/11/17(月) 17:29:44.68ID:MnG0J6vL0
日本がAIのためにやるべき事は質の高いデータセットを作ってオープンにすることだったり
海外企業も良いデータセットあれば勝手に使うし日本語性能が伸びる
0957名無しさん＠ピンキー (ﾜｯﾁｮｲ 02e0-0fx7)2025/11/17(月) 19:08:18.95ID:CQdKEH1j0
25G nic買ってRoCEでpc同士でクラスター構築とかどうなんだろ？面白そうだけど。
0958名無しさん＠ピンキー (ﾃﾃﾝﾃﾝﾃﾝ MM3e-C9XS)2025/11/17(月) 19:36:22.86ID:wZYPMPEYM
>>957
久しぶりにRoCEの語を見たなあ
面白いよ
接続先の別PCのメモリをRAMDISKにして
そこから自PCをブートしたりしてた
0959名無しさん＠ピンキー (ﾜｯﾁｮｲ 02e0-0fx7)2025/11/17(月) 19:46:52.93ID:CQdKEH1j0
>>958
実際面白いのか、やってみようかなぁ。
なんかRoCEで自宅AIクラスター構築って本を見て面白そうだなと思って。
構築してllama とかでモデルを動かせるのか全く未知数だけど、、チャッピーはできるとか言ってた。
0960名無しさん＠ピンキー (ﾜｯﾁｮｲ d384-dWB7)2025/11/17(月) 19:47:20.36ID:HqSeJTyX0
Hereticっていう検閲除去ツールが来たな
誰か使い物になるか試してみてくれ
0962名無しさん＠ピンキー (ﾜｯﾁｮｲ 836a-qtAv)2025/11/17(月) 20:04:12.38ID:T96Iz2QW0
nictあたりでコーパス作りゃいいのよ
GENIACなんかやってもどうせしょぼいパラメータ数のしかできないんだから
0963名無しさん＠ピンキー (ﾜｯﾁｮｲ 7eda-0fx7)2025/11/17(月) 20:16:53.96ID:DFXOWySS0
そういうもんなんか？docker でllama うごかしてオープンチャットだっけ、でllm構築したくらいの経験しかないからよくわからん…いろいろ調べてみるか。
0964名無しさん＠ピンキー (ﾜｯﾁｮｲ 326c-NM5O)2025/11/17(月) 21:46:24.71ID:OFt2wigP0
>>957
RoCEに対応できるSwitchが高いんだよなあ
0965名無しさん＠ピンキー (ﾜｯﾁｮｲ 7e31-0fx7)2025/11/17(月) 22:20:04.83ID:DFXOWySS0
>>964
そうなんか。まぁ2pcなら直結でいけるっぽいし、まずそれでやろかなと。
0966名無しさん＠ピンキー (ﾜｯﾁｮｲ 8f32-UTns)2025/11/17(月) 22:25:56.20ID:jMFNoshE0
>>960
軽くソースを読んだけど、オリジナルのモデルデータがVRAMに乗らないと高速処理できないっぽい
ハイスペックの有志が検閲除去してくれるのを期待するしかなさそう
0970名無しさん＠ピンキー (ｽﾌﾟｰﾌﾟ Sdf2-iH7c)2025/11/18(火) 19:11:38.81ID:GkaiCkREd
abliteratedモデルはhereticのURLにも出てくるhuihui-aiが主要モデルで前から出しているが
同じモデルでも指示への追従性が下がったりして取り回しが難しいんや

たぶんモデルを安定動作させるための「べからず」まで自動で取っ払うからやろな
0971名無しさん＠ピンキー (ﾜｯﾁｮｲ 3265-tgyA)2025/11/18(火) 20:10:42.59ID:2M0+1WyH0
検閲されてるモデルは事前学習からフィルタリングしてるし見かけの検閲解除は意味ないと思うけどな
ローカルならそれこそ数百サンプルを学習してあげるだけでも検閲消えるしわざわざ重みを壊す必要ない
新着レスの表示
レスを投稿する

レス数が950を超えています。1000を超えると書き込みができなくなります。
ニューススポーツなんでも実況