なんJLLM部 避難所 ★9
0812名無しさん＠ピンキー (ﾜｯﾁｮｲ 131c-0U8u)2025/11/06(木) 20:09:27.05ID:OT25Em3L0
>>804 OpenHands とかで「改良しつづけよ」という雑なプロンプトで自動的にプログラムを改良してもらってる
時間かかるし、途中自分でスナップショットとって失敗に気づいてgit巻き戻して、と人間臭くて笑ってしまう
何度も失敗するから有料API使うと目の玉飛び出す金額になってしまうから、こういう用途はローカル向き

M4 Max 128G でVRAMに120GByte回してるから、python側(推論しない)は mbpで回している
120GByteでギリギリだよ。96Gだと頭の悪いLLMしか動作させられなくて結局成果物ができない
AI Max+ は Linuxなら120GByteくらい回せるらしいからワンチャン動く
0813名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a5c-mzUR)2025/11/06(木) 21:22:16.20ID:H0Wl2rhX0
96でも頭わるいのかぁ困ったな
金がいくらあっても足らん
今のM3はファインチューニング向いてないらしいけど、M5出たらそこも改善されるといいなあ
0817名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f03-mTOK)2025/11/06(木) 23:46:10.80ID:VQ2HluPM0
クラウドで微調整するにしても最低3090以上のローカルGPUも欲しい
学習設定やデータセットをテストを小さいモデルでやるにしても全部クラウドでやると無駄に金いくらあっても足りないし微調整後の推論は結局ローカルGPUだし
0818名無しさん＠ピンキー (ﾜｯﾁｮｲ 2ac7-kIgr)2025/11/07(金) 00:00:29.77ID:ynemYx0F0
火出そうって・・・
マイニング流行ってた頃はパワーリミットしてたとは言え、20枚挿しも珍しくなかったんだから8枚挿しくらい余裕だろ
マンションとかならともかく一軒家ならブレーカー落ちることないし
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況