なんJLLM部 避難所 ★9
0001名無しさん@ピンキー 転載ダメ (ワッチョイ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0666名無しさん@ピンキー (ワッチョイ 3b8f-xFyt)2025/10/16(木) 17:26:24.77ID:LLWWm9uS0
といってもVRAMが300GB/s以下ってことは500GBのDenseモデルを動かすとしたら最大でも0.6トークン/sって事にならんか?
やっぱり帯域不足は痛いで。LPDDRを使う方向性はええと思うんやけど、それなりに高速なチップとクソ広バス幅用意してくれへん事にはなぁ……
0668名無しさん@ピンキー (ワッチョイ df67-s4CX)2025/10/16(木) 20:12:37.09ID:cCpqskzq0
MoEモデル前提だとLPDDR5選ぶ理由はないわねえ
70Bあたりのdenseモデルがスカスカだから活かしどころがないのも難点
0669名無しさん@ピンキー (スップ Sd7f-p9PY)2025/10/16(木) 20:15:02.24ID:mwCUko1ld
単一モデルでthink/no thinkモード切り替えみたいにnsfw/sfw切り替えできるようにならんかなー
レスを投稿する


ニューススポーツなんでも実況