なんJLLM部 避難所 ★6
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★5
https://mercury.bbspink.com/test/read.cgi/onatech/1735186391/ >>125
サンガツ〜 3090だけど一番大きいq8でいいのかな？やってみる >>129
ほーん
知らなかったやこのモデル
元モデルでも100Bなら量子化でこのスレのVRAMリッチおじが試せるサイズやない？
実際の性能どんなもんやろ 前の100bはただデカいだけだったけど今回の8bは事後学習しないでこのスコアなら悪くないモデルにはなってくれそうだな RTX3060 12GBでお絵描きAIもLLMもモンハンワイルズも満喫しているワイ低みの見物 >>129
記事タイトルの1兆って100億の間違いだね
日本の企業が1兆パラってびっくりしたけど 英語用モデルを色々試してるんだが、
https://www.reddit.com/r/SillyTavernAI/comments/1irpsqn/drummers_skyfall_36b_v2_an_upscale_of_mistrals/
このSkyfall 36b v2はだいぶ良いのでは
Mistral 24bベースのSydonia 24b v2に知識を足したモデルみたいで、物語をだいぶ語れるようになってる chatbot arena今見たらchocolateってモデルがgrok3って種明かしされてた
ぶっちぎりの一位やね
grok2がossになるって言うからぶっちゃけそっちのが気になるけど
どのくらいのサイズなんだろうな AMD Ryzen Strix Halo AI Max+のユーザーレビューがYouTubeに上がり始めたね。
ガッツリゲーマーじゃなければ、これがミニPCになってくれれば、もうこれだけでええんちゃう？レベルの模様。
消費電力も低いしね。楽しみだ。 >>142
HPなんかはもう小型WS？っぽいの出すはずだからメモリ128GB版が現実的な値段（30万くらい）で出て欲しい…… strix halo、70bで8token/sくらいとされてるな
ベンチ見てもメモリ帯域がポンコツっぽい雰囲気ある ローカルllm勢はcudaを使えないならメモリたくさん載せられるだけで喜ぶのに style controlあると4oのほうが強いからどうだろな HPのminiWSがdigitsと張り合える出来なら汎用性でHP選ぶかもしれん 2000ドルで48GBってのが一番ありそうなのがアレだな deepseek-v3-slice-jp64-gguf:IQ2_XXS、動かないよ〜😭 koboldcpp、もしかして命令等は英語じゃないと命令通ってないのか？
キャラチャしたいけど英語以外で反応してるように見えない… 指示モードで普通に日本語で言うこと聞いてくれてるけどな
モデル次第なのかな >>151
モデルが日本語に対応してないんじゃねえの モデル次第かあ…
日本語モデルでも英語通りそうだし、英語で命令いれたほうがいいみたいだな >>155
人間で例えたら脳みそ1/4にカットしたうえでさらに4倍圧縮してるようなもんだからな
しゃーない どこかでLumimaid-Magnum-v4が最強って聞いてからずっと使ってるんだけど今これより頭のいい日本語対応モデルって出てる？
みんなのおすすめをお聞かせ願いたい。NSFW用途で。 >>157
midoriinko/magnum-v4-123b-jp-imatrix
日本語タグ付いてないから見つけにくいけど、これのiQ3_Mがメモリ64Gで動かせる日本語モデルの限界
日本語版のimatrix使ってるから、他のより日本語性能はいいはず（と思う）
ちなみにドエロイｗ なんJRVC部が消えてしまったんだが音声系はみんなどこにいったのです？ grok.comにもgrok3が来たから試そうと思ったら、bad gatewayが出るな
まだ移行途中なのかね Sakana AIがAI CUDA Engineerを発表してるな Gemini2.0 flash thinkingすごいわ
小説の設定なんかについてやり取りしてた10万字ぐらいあるChatGPTのカオス気味の履歴を
VSCODEのClineを介してぶん投げたら2〜3分で各ディレクトリに.md作って整理整頓してくれた
DeepSeel R1はコンテキスト長短いしSonnetはたけぇし
ドキュメント整理みたいなタスクはGeminiおすすめや なんか知らんが無料で使えるしな sakanaAIは昔から一貫して大規模モデルに興味が無いよな
Transformerを産み出したくせに AIがAIのコード書き始めたんか、シンギュラリティ第一歩やね
CUDA以外にも書き換えられるようになればNvidia以外のグラボも使いやすくなりそうでええね sakanaAIは秋葉殿下がいらっしゃるから推したいんだよなぁ
あの人はワイの大学の専攻的に雲の上の憧れの人だった
なんかdeeplearning系に華麗に転向しているが
しかしあそこってtoCなこと一切してないからワイはなんもできんのよな unsloth/DeepSeek-V3-GGUF:Q2_K_XS.gguf
頑張ったらエラー出さずに動きはするね、動きは Ollama経由のSillyTavernでdeepseek-r1-distill-qwen2.5-bakeneko-32b-gguf:IQ3_XXSを動かして触って見たけど良いね
Mistral系にありがちな直結気味もなく12Bモデルより間違いなく賢さを感じる deepseek r1 bakenekoは今までのオープンモデルのなかで日本語性能が一番優れていると思う 画像食えるモデルとソフトの組み合わせって今何がいいんだろう。画像生成のプロンプト食わせたいだけだから14bもあればじゅうぶんなんだが。 runpod、クレカ支払いを蹴られるな
マスターカードなのに何故... 米国カードのみなのか
回避の仕方は色々あるけど、Runpodの強みはコスト抑えられることで=代替可能だから拘っても報われなさそう
他を探してみます runpodは自動でON/OFFできる仕組みを作っておかないと必ずやらかす…… lm studioのモデルオプションの横にある👍アイコンが付く条件てどうなってんの？
最適なやつが選ばれるようになってるのかしら phi-4の設定修正版を使ってみたら日本語能力が改善されて良くなってたわ
中国語が混じってくることもなくなったし、サイズの割には素の賢さが高くてなかなか好感触や
小説とか表現力は今ひとつ弱いんやけど、日本語FTしたらなかなかいいモデルになりそうや グラボ高すぎて10GBで当分頑張ることになりそうだ
16GBあればもっと色々出来るんだろうなあ bakenekoのQ8を触ってみたんだけど、これすごいね
個人的には地の文の表現がmagnum超えてると思う bakenekoQ4でやってみた
かなりこちらの意図を読んでくるね
だけどSTでチャットする時〈think〉部分は消したいんだけど良い方法ないかな？ >>164の論文が嘘だったとかで大炎上してる模様
やはりSakanaは釣りだった!?Sakana.aiが発表した論文が海外のAI研究者コミュニティで炎上
https://wirelesswire.jp/2025/02/88134/ >>187
正規表現でthink関連は格納できるよ
redditでもgithubでも作例は載ってるから探してみ stagingで実装されてたthink対応機能がstableにも導入されたっぽいから、アプデするだけで<think></think>は勝手に畳むようになるかも >>189
この書きぶりからすると他にも眉唾な論文があるみたいな感じじゃん？ >>189
ここまで言われるほど酷いことはしてないと思うが…
AI scientistもエージェントエージェント叫ばれる昨今の風潮を先取りしてたし
今回のcudaについても着眼点と手法自体は明らかに優れてる
しかし国内のpfnなんかにはcudaにバチクソ詳しいエンジニアもいるのに
伝手があるだろうに検証を頼みもせずに公表したとなるとなんとも >>193
妬みは入ってるだろうけどsakana側もやってることはやばいからな
まともな企業ならpytorchの150倍とかおかしいから待て掛けるだろうに 何かブロックチェーンを駆使した新たな商売をするって発表するだけで金が集まってた時代みたいになってきてんね >>194
理論上はあり得る話ではあるから見切り発車しちゃった気持ちもわからんでもないのがなんともなぁ
例えばgpuってスレッド事に32個とかの固定個のレジスタがあって
それにちゃんと載るようにcudaのコードを変えるとスループットが本当に100倍とかに変わる…こともある
gpuはマジでスループットのためのピーキーな作りをしているから改善の余地自体はたぶん本当にある >>190
ありがとう
記入例何とか見つかった
編集時は見られるから便利になったよ
今後のアップデートで
項目をチェックしたら
切り替えられるようになるといいんだけど オボボの時も言われてたけど、適当な仮説をぶち上げるのは誰でもできて
仮説が正しいかを研究・実証するのがとても難しいわけで
実証がいい加減だとただの素人の戯言になってしまうのよな >>190
横からやが俺も消せるようになったよありがとう
bakenekoを最新koboldcppにsillytavernでやってみた
地の文も出てくるし勝手に小説が進行していくしロールプレイ向けモデルじゃないのかなあ
喋り口調も設定よりちょっとお堅い印象になる傾向
小説書かせたら凄そうな気配は出てるんやが R1 1776とかthink出ない推論モデルで推論格納する方法ってある？ AMX対応Xeonのマシン構築まだあきらめずにいろいろ調べとったけど
まずECC RDIMMが必須なのは確定だわ
AMX対応XeonはSapphire Rapids、Emerald Rapids、Sierra Forest、Granite Rapidsの4つ
このうち後半の二つは100万オーバーの製品しかないので除外するとSapphire Rapids、Emerald Rapidsの二つになる
Sapphire Rapids、Emerald Rapidsは両方ともLGA4677で動作して、
対応チップセットはC741とW790の二つ
この二つのチップセットがそもそもECC RDIMMのみで確定
あぁ無念
まぁどうにか1ソケットのマザボ(12万、ただしメモリスロット8本)を選んで、CPUもAMX対応のもので一番安いの選んで(10万、12コア)
調べてもよくわからんかったけどたぶんXeonってCPUクーラーついてないので2万(ググったらとりあえずnoctuaのがあった)
メモリが64GB ECC RDIMMを6本(384GB、マザボメーカーで互換性確認取れてる奴は$386*6=$2316=ドル円155円で36万)
あとはストレージと電源でとりあえず5万、ケースなんかいらんでしょ、ということで
合計65万
コア数とかメモリ数とかもっと増やしたいのが正直なところだけどそれ考えるともう20〜30万上乗せになってしまう 3060で今からローカルLLM始めようかなって思ってるんですけどこれだけは入れとけっていうモデルどれですやろ
軽いの限定になるだろとは思うんやけど SillyTavernで日本語対応LLM使ってる人に聞きたいんだが、システムプロンプトってどんなの書いてる？
チャット形式で会話したいけどすげぇ長文書いてきたりして正解が分からん。
モデルはMistralベース >>201
とりあえずそのスペックで400GのモデルのQ8_mが何t/s出るか買ったらレポ頼む >>201
ちょっと気になったので調べた。
メモリslot数2に対して1ch使ってるマザーボードも存在するってChatGPT先生は言ってる。
※裏取してないけどo1に聞いて、自分でもその認識があったので
ChatGPT先生
「スロット数＝チャネル数」にはならない例も多い
4チャネル対応のマザーボードでも、1チャネルにつき2スロット（2DPC, 2 DIMMs Per Channel）を用意して
「合計8スロット」という構成がある。
8チャネル対応マザーボードの場合、1チャネル1スロット設計なら合計8スロット、
1チャネル2スロット設計なら合計16スロット、といったバリエーションもある。
一応購入前にマザボのslotとchが1対1になってるか確認したほうがいいよ。
LLMで帯域半分とか後で知ったらショックでかい。 >>201
もう一点、64GB ECC RDIMMを6本ってあるけど、メモリ追加を考えないなら帯域増やすために48GB×8本の方が8ch全部使うから
単純計算で25％帯域が増える。
今後512GB目指すなら、そのまま6本で後から2本追加。
ただメモリ複数枚搭載は同ロットの方がいいって聞くね。 Grok3は他のモデルよりかなり大きい高コストモデルって憶測が出てるな
今後どんどん値上げされる一方かもな 日本の企業じゃ考えられないほど大金を投入し続けるよな もしかしてだけどllmエンジンとしてはlm studio(llama.cpp)よりollamaの方が優秀だったりする？ metaがユーザー行動追跡をAIにやらせれば広告が売れる！と大っぴらに言い出してるから、同じことをxでやりたい...とかかね
規制される確率が高いしされると死ぬので政府に近寄るしかないとか >>210
ollamaもllama.cppベースよ
vision部分は独自実装してたりするけど deepseekが革命的に安く出来たって話題になってるだけで
金かかる大規模化が主流な訳だしそれを無理矢理というのは流石にどうかと思うよ
次は効率的な学習を大規模化したらどうなるかみたいな話になってくるし Grok3はいい感じに倫理観緩いけど緩さゆえの賢さだからOSS化してもそこまで性能良くなさそう
普通のLLMで規制される近親相姦系でも騙しやすいのはありがたいが >>211
マ？大っぴらに言ってるの？
それもコンテキストターゲティングじゃなくてユーザー行動追跡の方なの？
なんか記事ある？スレチだけど >216
すまん、話を盛ったわ
実際はAIの成果で利益上がってます！ぐらいだね LLMを先導してる大手企業であっても
DeepSeekが安く開発したせいでお前ら無駄金使ったんじゃねえのかと株主からせっつかれてるの可哀想
それでどうやって利益上げるんだって話になるよね deepseekが安くできたってのは色々カラクリありそうだけどなあ deepseek以外にも自分のことをchatGPTって言うモデル結構あるよな
Lumimaid-magnumとか metaで言えば「外のエンジニアへ向けたcoolな開発をしてこそcoolな開発者が集まるのだ。だから研究開発費は多目に見てちょ」
みたいなことを元から宣言している訳でそれを知らずに投資する方も悪いと思うがな Deepseekのあれは純粋に学習にのみ掛かったコストであって、車で言えば〇km走った時のガソリン代だけ出したようなものだぞ。 bakeneko無検閲かつ高追従性で良いね
chatGPT用のエロプロンプトがローカルで満足に動かせるようになるとは思っても見なかったわ
32BのQloraならVRAM32GB以下に収まりそうでカスタマイズもしやすいのもグッド bakenekoの追加学習の方法調べたけどかなり手間かかることやってるな
deepseek-qwenから直接学習させたわけじゃないのか
オリジナルのDeepSeek R1から直接データセット持ってきたりしてるし ■ このスレッドは過去ログ倉庫に格納されています
