なんJLLM部 避難所 ★9
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured >>142
Macも一長一短なんだな
DGX Sparkもモノが出てこないし過渡期だわ https://x.com/liquidai_/status/1963681029333618960
350Mパラメータで4oクラスの日英翻訳できるってことはローカライズなしでローカルLLM動かして遊ぶ選択肢出来そうやけどどうやろ また新しいの来てる
mradermacher/InternVL3_5-241B-A28B-GGUF
https://huggingface.co/mradermacher/InternVL3_5-241B-A28B-GGUF
Q4_K_M 142.3GB
Q4_K_S 133.8GB
Q3_K_M 112.5GB 最近のモデル見てると128GBで273GB/sはもう力不足感がある >>146
ConnectX7搭載されてるのか！？
AIではなくファイルサーバーとして使いたくなってくるな 50万以上いっちゃうなら、Mac Studio M4Max 128GB(帯域546GB/s)にするかなぁ… 俺だったら今後もMoEが盛り上がってくのに賭けて5090+メモリ256GBにすっかなぁ(と思うだけで買う金ないけど)
ただこればっかりは半年前が大昔に感じるこの業界、どうなるかわからんもんな・・・
半年後にはdenseばっかりになってるかもしれない MoEも結局クソデカメモリがいるって点で優しくはないからなあ DDR5なら64GB*4が最安10万で買える
なんかLLMでハード一つこしらえようと色々調べてると10万が糞安く感じる Qwen3 Maxが出たけどオープンモデルではないのかな Qwen3 Maxって1兆超えなんだ。
expつかってM3 Ultra2台(1024GByteメモリに見せかける)で動くのか。安いな(麻痺 expじゃない、exo github.com/exo-explore/exo >>156
公式チャットで使ってみたけど正直あまり賢くない感じ
指示に引っ張られ過ぎて幅広い観点から生成出来ない傾向がある
これからまだ調整するのかも知れないが現状ではカネを払うほどの価値はないかな まだ中華LLMのなかではGLM4.5が一番使えるな 「遅いけど動く」と「全く動かない」には天と地ほどの差があるからDDR5の256GB憧れるわ
最悪、外出中とかに動かしっぱなしにしておけばいいし
スクリプト組んで複数出してガチャとか >>160
俺は多段生成による精度アップを狙ってるわ
コード生成ならレスポンスに自動的に文法チェッカーをかけていったん突っ返すとか
人力でやってきた面倒くさいやり取りを省力化する感じやな
電気代しかかからないから出来る贅沢や >>145
LM StudioでInternVL3.5動かしてみた
MoEなので、メモリがあれば動くな
小説書かせてみたけど、英語やハングルが混じることがあるし、日本語が怪しいなあ
このモデル優秀みたいだけど、小説には向いてないんかね >>163
マルチモーダルやね
画像認識どんな感じ？ 動画生成で英語のエロプロンプト描かせたいんですがおすすめの無規制モデルありますか？
GPUは4090です >>164
画像認識は飛びっきりという訳じゃないけど、いい感じよ
文字認識はそこそこいけてる感じ
あとでレポするわ ジブリのフリー素材を元にInternVL3.5の画像認識してみた。
ついでに別のモデルと比較してみた。
比較対照画像
https://i.imgur.com/qsieYr7.jpeg
プロンプト
あなたは画像解析エンジニアです。
被写体、物体、文字（OCR）、レイアウト、リスク（個人情報・著作権）、
推論（何が起きているか）を日本語で返してください。
画像解析レポート比較（InternVL3.5 / GLM-4.5V / ChatGPT-5）
https://rentry.org/gb3zddft
使用したモデル
InternVL3.5 Q5_K_M(166.9GB)
GLM-4.5V GLM-4.5V AWQ-4bit(56.1GB)
ChatGPT-5
総合比較所見
InternVL3.5：全体像を捉えるが、OCRで誤認（「釧路」→「金路」）。記述は簡潔。
GLM-4.5V：服装や小物を非常に細かく描写。OCR精度が高く「釧路」を正しく認識。
ChatGPT-5：人物の感情（慌てている・落ち着いている）など解釈を加えた推論が強み。 ChatGPT-5だけ性別答えなかったから、追加で聞いてみたら「断定はできない」って言われたわ
短髪で、男の子にも女の子にも見える中性的な容姿らしい
ぱっと見た感じ、まつげがあったり、麦わら帽子のリボンがピンクだったり、スカートっぽかったりするから、女の子だと推測するんだけどね
ま、もう少し突っ込んで聞いてみたら、「女性キャラクターである可能性は高い」って返ってきたわ >>167
Kimi-K2-Instruct-0905いれてみたけど何が良くなったんだろうな
Kimi-K2は比較的比喩が多めで、あいかわらず難しい文章だけど芸術的な文章を書くんだよな
結構リアルに描写してくるし
官能小説書かせるならKimi-K2がええかもしれんな >>172
KimiはQwenと比べて脱獄が難しい
鉄板の脱獄シスプロがあったら教えてくれ LM Studioのモデル一覧でたまたま見つけたHermes 4ってモデルが無検閲らしいんだけどRTX4070Ti SUPERじゃ1token/secで泣いた、てかなぜかあんまりGPU使ってくれなくて遅い
しかも普通に検閲された 405B、70B、14Bとあるけど全部llama3.1のファインチューンみたいやね
Llama3.1はいいモデルではあるけどさすがに最新モデルと比べると古臭く感じてしまうな VLMでのキャプショニングいくつかモデルとか訊き方試して調査したけど自然言語だと点数つけるのムズすぎてレポートにするの諦めたわ VLMのベンチマークの問題と解答を
このスレ向けのに差し替えるのがええと思う >>173
前スレでも公式からだと脱獄が難しいと言ってたな
ローカルだとそこまでじゃなさそうだったよ
magnumより厳しいけど なんか富士通が凄い1bit量子化を開発したらしく
command-aをその技術で量子化したものを配布するとか
https://japan.zdnet.com/article/35237691/ >メモリー消費量を最大94％削減する1ビット量子化を実現。
>これにより、量子化前と比べて精度維持率89％という世界最高水準の性能を保ちつつ、
>処理速度を3倍に高速化した。
嘘みたいな夢の技術で草なんだ >>179のやつこれらしい
://huggingface.co/qep/qep-1bit-extreme >>186
ローエンドGPUでも動くとか記事にあったけど
32.4GBあるぞ なんやこの怪情報は……ホンマやったら大事件やで
2レイヤーだけFP16書いてあるけど、将来的にはこの層だけGPUにオフロードして主としてCPUで演算するみたいな事もできるんやろか。結局メモリ帯域が足りんか？ >>186
2.5bitくらいない？
いやまぁGGUFなんかも数字以上にでかいのばっかだから別にびったし1bitサイズでなくてもいいけどさぁ
これはちょっとでかすぎひん？ >>190
埋め込み層は量子化せんからな
command aは語彙数256kで滅茶苦茶多いから30%ぐらいは量子化されずに16bitで保持されてる 懐疑的だったりバカにされがちだけど富士通わりと信用してる 重みの場所によって量子化度合い変えてるのは
unslothちゃんがやってるのと同じことか？
それとも全然違うことなんかなぁ
ようわからん 元記事からはイマイチ読み取れんけどdynamic quantizationの一種じゃなかったら事件かもなあ 俺の5090ちゃんでcommand a出来ちゃうの？ って思ったら推奨VRAM40GB以上って書いてあんね…🥺 unslothもbartuwskiも今ん所GGUF化しとらんね
有名モデルだとリリースされてから数時間でGGUF化しとるけどこの人ら
技術的にできないのか、やる必要ないと思ってるのか >>201
コレこそクラウドGPUの出番だな
契約して無駄遣いしてるやつに殴り込んでもらうしか パープレキシティでしか評価してないってことは
実タスクで相当落ちるタイプのやつか GPT-oss-120bとかでやってみて欲しいんだよな
論文の著者がXで言及してたからやってくれるかもしれんが この量子化を行うためのソフトは公開してくれてないねんなぁ
論文だけ見れば他の人が実装できるようなものなんやろか
このあたりintel(autoround)とかmicrosoft(bitnet)とは姿勢が違うよねぇやっぱ なんか来るのかな？
https://www.perplexity.ai/page/chinese-researchers-unveil-bra-qpwOqvGHTAWdlohIzxf3vw
中国の研究者たちは、主流のChatGPTのようなモデルとは一線を画し、生物学的ニューロンを模倣してエネルギー効率の高いコンピューティングを実現する、脳に着想を得た人工知能システム「SpikingBrain-1.0」を発表しました。
従来のAIシステムは、大量のデータセットと計算能力を必要とするトランスフォーマーアーキテクチャに依存していますが、新しいモデルは、主流モデルが通常必要とする事前学習データのわずか2パーセントしか使用せず、同等の性能を達成しています。 >>196
本質は量子化するときのグループを広くしようってことみたい
今までは層1,2,3とあったら各層ごとに量子化してた
QEPは層1での量子化やったあと、その量子化誤差を層2での量子化で考慮する、みたいな
そして今度は層2での量子化誤差を層3での量子化で考慮する
記事の1bit云々はよくわからない
INT4辺りだとヘッシアン使うGPTQとそんな変わらんかったってことなんかな >>208
CXLってのが普通のCPUは対応してなくてダメらしいのでThreadripperで遊べる富豪以外は縁がない
あとPCIeだからメモリ直刺しよりいろいろ劣るはず Sakana.aiもそうだけど生物学的アプローチを測ろうとする研究まあまああるよね
アーキテクチャ的に覇権握るのは難しそうだけど LMstudioでこの界隈を知ったからずっと使ってるんですけどなんかメモリ効率悪いとか処理が遅いみたいなウワサを聞いて困惑してます
実行環境で優秀なやつってどれなんですかね 40GのVRAMってA800とかだろ
ご家庭に200万円クラスのカードが買えってか?
gpt-oss-120bを10Gbyteくらいにしてくれたほうが
世界中のみんなが幸せになれて、この方式がデファクトスタンダードになる可能性があるのに
日本メーカーって技術はよくても謎のケチくささで後出しの海外製にあっさり抜かれて勝てないパターン さすがに富士通なら広報も先走ったりしないだろという安心感はある
sakanaはcudaのやらかしが酷かったなぁ >>213
llama.cpp動かしてるだけなのに効率悪くなるなんてことあるかな？
設定間違ってるだけとかな気がするけど
気になるならllama.cpp直接動かしたら良いと思う
上で紹介されてるkoboldも中身llamaだし llama.cppとvllmくらいしか推論環境わからん >>215
24GB x 2でも24GB + 16GBでも16GB x 3でもお好きな構成でどうぞ Koboldもllamacppも試してみましたが
同じモデル、同じパラメータでトークン毎秒に大きな差はありませんでした
勘違いだったみたいです
回答してくださった方ありがとうございます そもそもデフォルトじゃそれら全部llamacppじゃね？ 80B-3Bか。ちょっと専門家小さすぎないか？
おかげでQewn3-32Bの10倍速だそうだ Rubin CPXって一般人でも買える感じのヤツですか？ ハルシネーションと言うのかい？贅沢な名だね
今からお前の名前は鉛筆コロコロだ とりあえずLM Studio入れて触ってみてるLLM初心者です
今はgemma3 12Bで相手に女の子を装って架空の悩み相談をしてどの段階で性的虐待を察知できるかみたいな遊びしてるんだけど
こういうのにオススメのモデルとかありますか？(VRAM16GBに収まりそうなの)
magnum-v4とかlumimaidとか試してたんだけど、エロい話題の取り扱いはできても総合的に状況把握が微妙だったり
ある程度以上会話長くなると同じような内容ばかり出力するようになったりでちょっと微妙だった モデルのコンテキスト長をデフォルトの4096とかのままで使ってない？
短いと前の会話を忘れていくよ
どのくらいがいいかはVRAMサイズ次第 K2 Think少し触ったけどこのサイズにしては意味のある日本語を出力しようとしてる感じがする >>230
割と真面目にgemma 3がおすすめ
物分かりと文章表現力が同クラスで断トツ。倫理観は脱獄か出力文編集で取り払えばいい
次点でMistral-Small、エロいこと何でも言うこときいてくれる
VRAM12GBで色々モデル触ったけどこの結論になった ここ最近の流れを追えてないんですけど
みんなメモリ増強し始めたのは何かすごい技術でも出てきたんですか？
VRAM足りないぶんをRAMでロードするのは前からありましたよね
それとは違うんでしょうか >>234
メモリ128GB+VRAM24GBでQwen235bのGGUFが動く >>234
llmだとramが足りてりゃそれなりに動くMoEアーキテクチャの普及かなあ
でも多分だけどwan2.2とか動画生成ローカルモデルの影響 qwen3の80B3Aが来るらしいね
RAM64GBあれば実用的に動くだろうし期待しておく >>231
モデルコンテキスト4096になったので増やしておきましたありがとう
>>233
ありがとう、一旦gemma3中心に遊んでみます >>239
遅いと思うよｗ
VRAMに収まらなかったエキスパートはCPU処理らしい PayPal（ペイペイじゃないよ）のアカウントがある人はPerplexity Proが1年無料やってるね
本家より性能低いらしいけどいろいろなLLM使えるからいいんでないの
すでにソフトバンク系の特典とか使ってたらダメみたいだけどさ 