なんJLLM部 避難所 ★8
レス数が950を超えています。1000を超えると書き込みができなくなります。
0001名無しさん@ピンキー 転載ダメ (ワッチョイ f3c0-9L8h)2025/05/10(土) 22:18:32.02ID:0Ak3eO5y0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC(できれば+3060 12GB以上)でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0886名無しさん@ピンキー (ワッチョイ 8689-UJOR)2025/08/10(日) 13:24:20.63ID:8mwZvHlt0
業務でqwenやdeepseek使うのは通せる気がしないけど、
gpt ossなら通せるのが大きい
mistral とかでもいいんだろうけど知らなそうだし、
国産はゴミ
0888名無しさん@ピンキー (ワッチョイ 4627-Zgb9)2025/08/10(日) 17:45:19.54ID:aD0O+FMy0
LlamaやMistralのモデルをファインチューニングした物を国産って言うの辞めてもらえないかね
プレスリリースでも元の学習に使ったモデルを書かないのは卑怯だし、そういう手口が日本のLLMを貶めてる
明らかに産地偽装なのにそれで金集めるのって詐欺だろ
0889名無しさん@ピンキー (ワッチョイ 6ab1-4DuO)2025/08/10(日) 18:17:41.40ID:uYRAl+oV0
基盤モデルの研究開発ってNTTとNIIくらいしかやってないし商業でまともに戦えるプロダクトにしようとすると数百億円はかかるからどこもやれないんだよな
0892名無しさん@ピンキー (ワッチョイ 6f6a-8ChC)2025/08/11(月) 08:16:31.26ID:gQiia+Rc0
>>888
日本のモデル全部それだろ😅
pfnは違うけど弱いし
0897名無しさん@ピンキー (ワッチョイ 6f6a-8ChC)2025/08/11(月) 17:24:55.91ID:gQiia+Rc0
そのためのniiプロジェクトだったはずだよな?
0898名無しさん@ピンキー (ワッチョイ 8666-4DuO)2025/08/11(月) 17:36:47.14ID:QqggNyAZ0
国もGeniacとかでちゃんと予算用意して支援してるけど20社だかそこらに分けてるから1社あたりに行く金は10億円規模でちゃんとしたモデル作るには一桁足りないんだよな
0899名無しさん@ピンキー (ワッチョイ 4627-Zgb9)2025/08/11(月) 18:21:46.34ID:Ly9BMRt90
1社に200億ならまともなモデルになったのでは

現状は公金しゃぶりたいだけのベンチャーに渡って元々日本語性能の高いモデルにファインチューニングして高性能日本語モデルが出来ましたって言ってるの
ベンチをよく見たら元のモデルから誤差レベルで性能向上してるだけだったり
0901名無しさん@ピンキー (ワッチョイ 0734-tW5H)2025/08/11(月) 19:20:01.02ID:UBF7rDsZ0
ベンチャー支援とか投資家にさせて、国は研究室に金出して計算インフラ整えるだけでいいのにね
経産省自身がこの分野のことよく分かってないのにべンチャー掘り起こすんだ!ってイキるからオルツみたいなの掴んじゃうんよ
0903名無しさん@ピンキー (ワッチョイ 0a32-fnwq)2025/08/11(月) 20:41:20.76ID:lyPopjUL0
>>900
弊首長さんは「チャットGPTって知ってるか? 法的根拠も教えてくれるから議会対策もできるしもう弁護士もいらないな!」と息巻いてましたんでマジ怖い
0904名無しさん@ピンキー (ワッチョイ 3b8a-8WXS)2025/08/11(月) 22:33:32.64ID:rDmIB4Yv0
Geniacはオルツみたいな粉飾企業がおるあたり経産省側に判別できる役人がいなさそう
Abejaとかも発表会は薄っぺらいことしか話してないしNii, サイバーエージェント、東工大ぐらいちゃうか期待できるの
0905名無しさん@ピンキー (ワッチョイ e3f8-AgHL)2025/08/11(月) 22:51:03.61ID:yoYVKaJ80
今のところローカルでLLMやろうとしたらQwenがいちばん取り回しやすいな
DeepSeekも優秀だけどサイズがでかすぎる
0906名無しさん@ピンキー (ワッチョイ 1ed9-zlfW)2025/08/11(月) 23:06:10.78ID:dUWw5kCt0
>>904
PFNも性能は置いといてちゃんと頑張ってはいるよ
その中だとSwallowはフルスクラッチやるつもりなさそうだからちょっと微妙かな
あとはモデル自体は微妙だったけど去年のGENIACでやってた松尾研のLLMフルスクラッチ開発は人材育成観点でめっちゃ良かったと思う
0907名無しさん@ピンキー (ワッチョイ 3b8a-8WXS)2025/08/11(月) 23:19:38.04ID:rDmIB4Yv0
>>906
ワイもちゃんと松尾研のサマースクールは修了してきた あれええよな
PFNはどっちか言うとSLMの方向な感じ(Plamo翻訳はようやりすぎ)やし基幹モデル的な話になると研究室系で育成してサイバーエージェントとかソフトバンクあたりでやれるといいんやろな感がある
0908名無しさん@ピンキー (ワッチョイ e3f8-AgHL)2025/08/12(火) 00:25:29.61ID:XyiWs2oo0
PFNは半導体まで自社設計だからな
自前の半導体でスパコン作ってる
0909名無しさん@ピンキー (ワッチョイ 1ebc-CNaV)2025/08/12(火) 00:59:46.53ID:DubBEkGm0
ちょっと話題がずれるけどQwen-Imageすごいな
ついにローカル環境でもChatGPTとかGeminiみたいなLLMに指示する感覚で画像生成できるようになった
ローカル環境のUIと統合できる日が待ち遠しい
0910名無しさん@ピンキー (ワッチョイ deea-u0iI)2025/08/12(火) 04:15:27.76ID:5uL9D7zF0
メタい話すると、AI技術の論文と特許の数をアメリカと中国で競っている。日本はゴミってのが原因だろ
金と労力を使うべきところを日本の経営者や役人はわからないっていない
0913名無しさん@ピンキー (ワッチョイ 3bf0-UlTu)2025/08/12(火) 08:39:14.11ID:nrfnPcdN0
日本の科学研究費は米中どころかヨーロッパのよくわからん国々にも負けてるからね
今は研究人材の質と量で踏ん張ってるけど、これからまだまだ堕ちるよ
日本人ファーストとかアホなこと言ってる場合じゃないんだけどねえ
0914名無しさん@ピンキー (ワッチョイ 5332-bOCj)2025/08/12(火) 09:09:55.90ID:q6ktejmO0
GPT-5 miniの文章能力はアレやな
1レスごとに指示を忘れる、保存したメモリの内容を理解できない、プロフィールの内容も理解できない、オノマトペが下手糞、主体と客体が逆転する、支離滅裂な文章を書く
と散々な性能してるな
毎回事細かに指示しないと簡単なルールも守れない
0915名無しさん@ピンキー (ブーイモ MMc6-ZRbP)2025/08/12(火) 09:35:31.77ID:nZE7jp5+M
GPT5はハルシネーション抑えたって言うけど全然実感出来なかったよ
とりあえずリアルタイムでwebデータにアクセス出来ないみたい
なのにそれを自信満々で探してきますよって言ってデタラメな結果を報告してくる
0916名無しさん@ピンキー (ワッチョイ ff0f-McTy)2025/08/12(火) 10:04:21.73ID:1mdWcbDl0
ぶっちゃけ日本にまともな基盤モデル作れるだけのGPU無いし変にお金ばら撒くより高品質な日本語データセットの作成と公開に注力してほしい
事後学習の形式は色々進化してるけど事前学習で大量のテキストが要求されるのは変わらないだろうし国産LLMが作れないなら外国産LLMの日本語性能上げるべきだろ
0924名無しさん@ピンキー (ワッチョイ 0a74-G40B)2025/08/12(火) 21:49:53.50ID:MMPcAlN60
最近のLLM実行環境(llama.cpp, lmstudio,ollama等)って、
メモリが足りなくても動くのな。

スワップしてるのかもしれんが、高速なSSDによる力技と、
元々Moeモデルだからかメモリ負荷が少なめなのか、
gpt-oss-120BのMLX版も、Macminiの64GBでも動いたわ。
Moeだからあんまり遅くもないし。

まぁ、GPUに58/64GBくらいの割り当て無理やり動かしてるんだが、
横で視聴してた動画が止まったり画面が乱れたりしまくるけど。
0925名無しさん@ピンキー (ワッチョイ 0af5-1AEK)2025/08/12(火) 23:32:38.68ID:qdDa7uK20
MoEのコントロール方法がよくなってんのかね
「部分的なオフロード可能」とかのモデルだとGPUに150Gbyte(実メモリは128GB)
とか割り振って割と動作したりする
gpt-ossだと専門家が5Bから0.5Bくらいの可変モデルだからx86のGPUにも優しそうだ
0926名無しさん@ピンキー (ワッチョイ 078d-AgHL)2025/08/13(水) 00:10:49.50ID:t4gdcLO90
GLM4.5は今までの中国LLMの中でいちばん日本語が上手に見える
0927名無しさん@ピンキー (ワッチョイ 8e76-bOCj)2025/08/13(水) 04:49:48.16ID:fI/J9ud30
すんません、LLM初心者なんですが、umiyuki/Umievo-itr012-Gleipnir-7B (7B) を導入したんです。
しょっぱなからAIが株式会社シリウスのチャットアシスタントと言って何を言ってもやめてくれないし、
小説書くなら有料だから見積書をとれって…、これってこのAIの仕様なんですか?
0928名無しさん@ピンキー (ワッチョイ 5332-bOCj)2025/08/13(水) 06:51:35.36ID:mmJu8OjS0
>>927
ちゃんと設定すれば小説風にも書いてくれるから単に設定がおかしいだけだと思う
ただGleipnirはどっちかというとチャット向けだと思うから小説書くのには向いていないかもしれない
0930名無しさん@ピンキー (ワッチョイ 8e76-bOCj)2025/08/13(水) 08:05:54.82ID:fI/J9ud30
>>928
小説向けじゃなかったんですね。再起動してもチャットアシスタントのままなんで、
このまま株式会社シリウスのチャットアシスタントと会話を楽しむことにします。
小説向けっぽいの探しに行ってきます。ありがとうございました。
0931名無しさん@ピンキー (ワッチョイ ffb2-AgHL)2025/08/13(水) 08:22:59.50ID:vQazSjcF0
lmarenaの日本語評価だとこんな感じ
https://i.imgur.com/ZeG0xCi.jpeg
0932名無しさん@ピンキー (ワッチョイ 5332-bOCj)2025/08/13(水) 09:52:54.16ID:mmJu8OjS0
>>930
チャットアシスタントのままになってるってことは設定の仕方自体が大きく間違ってるから
他のモデルを使ってもたぶんまともに使いこなせないぞ
どのモデルを使うにしても設定の仕方を見直した方がいいよ
0934名無しさん@ピンキー (ワッチョイ ffb2-AgHL)2025/08/13(水) 12:26:22.78ID:vQazSjcF0
>>933
ktransformersみたいなことできるようになってたのか
0935名無しさん@ピンキー (ワッチョイ e3ec-uXOh)2025/08/13(水) 15:25:59.07ID:PLDP3pJq0
お初です。LM Studioでできる15GB以下のGGUFでお勧めモデルを探してます。
用途は画像生成するためのエロプロンプトを吐き出してくれれがばOKです。
小説や、チャットはしないと思います。システムプロンプトを設定し
「男女がベッドの上で」と書いたら500トークン程度で返してくれれば成功です。
0936名無しさん@ピンキー (ワッチョイ ff3c-uXOh)2025/08/13(水) 16:56:31.28ID:Yl9o3uvi0
今はこれ使ってます。Doujinshi-14b-instruct-i1-GGUF
0940名無しさん@ピンキー (ワッチョイ 5332-uXOh)2025/08/14(木) 06:04:10.59ID:JHoc8ylv0
いまいちゴールが分からないからどれをオススメすればいいのかも分からんな
プロンプトはどの言語で返してほしいのか、今のローカル主流モデルで使われているdanbooruタグが良いのか、それとも自然言語が良いのかとか

danbooruタグはたぶん無理
自然言語ならどのモデルでも大体できるはずだけど15b以下だと文章能力自体がどれも若干怪しい
0941名無しさん@ピンキー (ワッチョイ 07bd-3dd+)2025/08/14(木) 07:38:25.41ID:jMuPKUhT0
ローカルやないのだけど
電子工作用のプログラムをGPT(有料)と作って煮詰まって
claude(無料)に引き継いでガンガン進めて、あと少しのところで煮詰まって
またGPTに戻って完成させたんやけど
浮気したみたいで興奮してしまいましてね……
0944名無しさん@ピンキー (ワッチョイ 0f64-9CBc)2025/08/17(日) 02:34:33.99ID:tBj+vWDi0
昨日一日、ここに紹介されてるモデルをいろいろ使って遊んでいたが、どうもしっくりこなかった
Dirty-Muse-WriterがProject-Wannabeで使えればいいんだが、うまくいかない
また今日も探求の旅が始まるのか
0945名無しさん@ピンキー (ワッチョイ 9b80-NT8x)2025/08/17(日) 22:33:10.64ID:kBHl/4oe0
gemma3 270M位のガチガチのSLMってfine tuningしたら会話できるようになるんやろか
0946名無しさん@ピンキー (ワッチョイ 5f49-Zqh3)2025/08/18(月) 08:18:21.61ID:OH29BC0q0
GLM4.5がかなり良い
QwenやDeepSeekより日本語強いし
0947名無しさん@ピンキー (ワッチョイ ef27-tc79)2025/08/18(月) 12:48:31.77ID:Kb4I0FOW0
>>935です
やりたかったことはこんなかんじです
参考サイト:https://local-llm.memo.wiki/
説明不足で申し訳ありませんでした
モデル名は画像内
https://imgur.com/a/UIuMVns
https://imgur.com/a/YXGg2qY
画像のはソフトですが、エロもかなりいけてました
こんなんならもっと良いおすすめあるよとか教えていただけると助かります
この英文(詩文自然言語)をコピペで入れるなり修正していれるなりして画像を生成しています
0948名無しさん@ピンキー (ワッチョイ 1fc7-w3FM)2025/08/18(月) 14:39:01.28ID:/NNFw+IP0
GLM4.5ええな
全く違和感のない日本語だわ

MoEモデルだからメモリ256GBと24GB以上のグラボがあれば、Q4量子化モデルがそこそこの速度で動く
Mシリーズなら大容量メモリ用意できれば爆速だろうな

それにしても今はGPT-4o相当のモデルがローカルで動くんだなあ
すごいわ
0950名無しさん@ピンキー (ワッチョイ 9b4e-NT8x)2025/08/18(月) 17:24:20.80ID:fAvcvBE00
中国のローカルLLMはやっぱ東アジア言語強いわ
そこら辺欧米はちょっと不自然になるしな
0952名無しさん@ピンキー (ワッチョイ 9b4e-NT8x)2025/08/18(月) 19:28:17.98ID:fAvcvBE00
>>951
Airなら一応openrouter経由無料で使えるんだよな
Openrouterの無料モデルの制限上限までしゃぶるために10ドル課金したわ
0953名無しさん@ピンキー (ワッチョイ ef27-tc79)2025/08/18(月) 19:42:28.61ID:Kb4I0FOW0
>>947
エロだとこんな感じでした
https://imgur.com/a/nC23YkN
0954名無しさん@ピンキー (ワッチョイ df23-9CBc)2025/08/18(月) 21:02:36.87ID:oRsM7ome0
Openrouter無料枠って問答無用で学習に利用されるんじゃなかったっけ?
たしか「Enable free endpoints that may train on inputs」を有効にしないと無料枠使えなかったと思うんだが
ちょっと不安

…そんなもん気にするならそもそもやるな、って話なら、そりゃそうだとも思う
0959名無しさん@ピンキー (ワッチョイ 1fa4-AVXO)2025/08/19(火) 08:35:58.74ID:jfYTe0rq0
GLM4.5、思考中の内容を読めるけど「ユーザーはこのようにしてLLMを騙してポリシーをないものにしようとしている」みたいなの見てると面白いな
脱獄の参考にもなる
0963名無しさん@ピンキー (ワッチョイ ef99-9oPA)2025/08/19(火) 16:46:53.84ID:GHs6ZxNk0
OpenCVは数学的に正確な関数であって幻覚がでる拡散モデルじゃないから用途が全然違うから比べられない
もっともClear LinuxもOpenCVもCPUもIntelだからオワコンではあるが
0965名無しさん@ピンキー (ワッチョイ 1fac-Yi6T)2025/08/20(水) 02:05:56.89ID:cOfEFQ1c0
>>951
Chutesの推論apiサブスク(10ドルプラン)で使ってるけど、アレも多分プライバシーポリシーなにそれなやつだと思うからオススメはしにくいな
0968名無しさん@ピンキー (ワッチョイ 5f27-wbf1)2025/08/20(水) 18:01:39.87ID:7ub/X3NL0
>>964
空リポジトリなのにすでに500↑いいねとかDeepseekほんま覇権やな
0971名無しさん@ピンキー (ワッチョイ 7bf8-Bfp2)2025/08/20(水) 23:54:02.44ID:zh7ersEL0
MoEのが結果的にvRAM節約出来てるから方向性的にはそれで良い気はする
GPT-ossもm4macbook単体で動くレベルなのが凄いし
0972名無しさん@ピンキー (ワッチョイ df3d-fSvz)2025/08/21(木) 00:02:39.22ID:wevjbNHK0
100B前後のmoeはdenseの24-32B程度の性能しかない(LMarena基準)
それでいてオフロードしないと動かせないし速度もアクティブパラメータ次第だけどVRAMに全部載った30Bより遅い
例えばgpt oss 120B(A5.1B)を4090 + DDR5 96GBで動かすと15-20t/s
GLM4.5 airだと10-12t/s 一方高密度32Bモデルの4bitが4090で30-35t/sも出る
その上微調整しようとするとパラメータ数相応のメモリが要求されるから嫌い
サービスを提供したりcpuオンリー環境なら恩恵あるのは理解できるけどね
0974名無しさん@ピンキー (ワッチョイ 5f49-Zqh3)2025/08/21(木) 02:06:48.97ID:FiSFa4JV0
>>973
Mistral Mediumは?
0975名無しさん@ピンキー (ワッチョイ 0f75-UyD4)2025/08/21(木) 02:35:57.47ID:pa6JuIeq0
no-thinkingとほぼ互角って感じやねthinkingだと差をつけられるんじゃないかな
VRAMをもっと手軽に盛れる環境がこないかぎりはMoE路線の方が今のところの現実路線な感じがする
ryzen ai max+ 395とかユニファイドメモリもうちょっと盛り上がってくれるといいんだけど
0978名無しさん@ピンキー (ワッチョイ 7bf8-Bfp2)2025/08/21(木) 16:28:13.28ID:exCP1ZjN0
Deepseekv3.1出たけどAPIのコスパの良さが際立つくらいで671B-A37Bはローカルやと使いにくそうやね
0979名無しさん@ピンキー (スッププ Sd3f-bXPR)2025/08/21(木) 16:45:15.65ID:QlompAIld
>>978
そこら辺はオープンウェイトとは言ってもH100クラスを想定した設計なんじゃね
Kimi K2やGLMもそう

Qwen3-235B-A22Bだけが大型モデルで唯一ご家庭で動くギリギリを狙ってきている
QwenはImageもあるし設計思想がPCを意識しているんだろう
0982名無しさん@ピンキー (ワッチョイ 9f8d-Zqh3)2025/08/22(金) 08:04:12.44ID:gBBSaTvB0
DeepSeek3.1公開されたな
レス数が950を超えています。1000を超えると書き込みができなくなります。

ニューススポーツなんでも実況