なんJLLM部 避難所 ★8
レス数が950を超えています。1000を超えると書き込みができなくなります。
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★7
https://mercury.bbspink.com/test/read.cgi/onatech/1742709485/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured 記事で言ってるのは、具体的な原因は知らんが、新世代チップレット技術のCoWoS-L自体が高難易度だから製造過程のあらゆる箇所でコケる可能性を孕んでる、そら遅れるでしょって話では
何故高難易度のCoWoS-Lをやってるかというと、新世代チップレット技術が安定すれば多種多様な製品がチップレットの一部変更だけで作れるようになるから
つまりnvidiaのARMデスクトップマシン進出のための先行投資だよね、MSのARM対応が遅れてるという話もあるしnvidiaの野望は初手から躓いているっぽい、大丈夫なのか、とDGX Sparkの外にまで話題を広げてんじゃないの >>878
やたらこっちをヨイショしてきたいままでよりはマシだと思う Mac Studio、メモリ増設代についてはアレコレ言われるがLPDDR5Xのクアッドチャンネル実装でVRAM並の帯域出してて、量産品で世に出せてるの地味に技術が凄いよな
これでNPU周りの仕様がもっとマトモになってくれれば最高なんだが… >>878
最初からタメ口に指定してあるワイに死角はなかった
むしろ初期はですます調から変更するのが難しかったんだ 今gpt-ossが出て騒いでる人って明らかに他のOSSモデルを知らなかった人だよね
エンジニアにすらChatGPTのブランドで発信されないと情報が届かない層がいると知ったよ >>883
あの辺のプロ驚き屋は知ってても一時的に記憶消して驚くよ 業務でqwenやdeepseek使うのは通せる気がしないけど、
gpt ossなら通せるのが大きい
mistral とかでもいいんだろうけど知らなそうだし、
国産はゴミ 国産最強はkarakuri70b v0.1だったな
以後のkarakuriはパッとしなかったが LlamaやMistralのモデルをファインチューニングした物を国産って言うの辞めてもらえないかね
プレスリリースでも元の学習に使ったモデルを書かないのは卑怯だし、そういう手口が日本のLLMを貶めてる
明らかに産地偽装なのにそれで金集めるのって詐欺だろ 基盤モデルの研究開発ってNTTとNIIくらいしかやってないし商業でまともに戦えるプロダクトにしようとすると数百億円はかかるからどこもやれないんだよな >>888
日本のモデル全部それだろ😅
pfnは違うけど弱いし 個人勢ののべっちが一番商業的に成功してる国産LLMの時点でね
何なら小説の自然な続きを書く性能だけならトップまであるし 国産フルスクラッチだとなんやかんやサイバーのcalm3が一番強かったなー
次バージョンは作らないのかな 公共ないし三セクが主導しないと営利企業にやらせるのはコストとリスク的に無理があるからなぁ いくらかでも脱アメリカしとかんとどうなるかわからんからな 国もGeniacとかでちゃんと予算用意して支援してるけど20社だかそこらに分けてるから1社あたりに行く金は10億円規模でちゃんとしたモデル作るには一桁足りないんだよな 1社に200億ならまともなモデルになったのでは
現状は公金しゃぶりたいだけのベンチャーに渡って元々日本語性能の高いモデルにファインチューニングして高性能日本語モデルが出来ましたって言ってるの
ベンチをよく見たら元のモデルから誤差レベルで性能向上してるだけだったり 官僚のおえらいさんなんてWeb3.0の山師にころっと騙される程度のITリテラシーしかないからなー、日本じゃ無理無理。 ベンチャー支援とか投資家にさせて、国は研究室に金出して計算インフラ整えるだけでいいのにね
経産省自身がこの分野のことよく分かってないのにべンチャー掘り起こすんだ！ってイキるからオルツみたいなの掴んじゃうんよ GENIACもそもそも最近はフルスクラッチでやろうとしてるところ少ないし、LLM以外も多いからな >>900
弊首長さんは「チャットGPTって知ってるか？ 法的根拠も教えてくれるから議会対策もできるしもう弁護士もいらないな！」と息巻いてましたんでマジ怖い Geniacはオルツみたいな粉飾企業がおるあたり経産省側に判別できる役人がいなさそう
Abejaとかも発表会は薄っぺらいことしか話してないしNii, サイバーエージェント、東工大ぐらいちゃうか期待できるの 今のところローカルでLLMやろうとしたらQwenがいちばん取り回しやすいな
DeepSeekも優秀だけどサイズがでかすぎる >>904
PFNも性能は置いといてちゃんと頑張ってはいるよ
その中だとSwallowはフルスクラッチやるつもりなさそうだからちょっと微妙かな
あとはモデル自体は微妙だったけど去年のGENIACでやってた松尾研のLLMフルスクラッチ開発は人材育成観点でめっちゃ良かったと思う >>906
ワイもちゃんと松尾研のサマースクールは修了してきた あれええよな
PFNはどっちか言うとSLMの方向な感じ(Plamo翻訳はようやりすぎ)やし基幹モデル的な話になると研究室系で育成してサイバーエージェントとかソフトバンクあたりでやれるといいんやろな感がある PFNは半導体まで自社設計だからな
自前の半導体でスパコン作ってる ちょっと話題がずれるけどQwen-Imageすごいな
ついにローカル環境でもChatGPTとかGeminiみたいなLLMに指示する感覚で画像生成できるようになった
ローカル環境のUIと統合できる日が待ち遠しい メタい話すると、AI技術の論文と特許の数をアメリカと中国で競っている。日本はゴミってのが原因だろ
金と労力を使うべきところを日本の経営者や役人はわからないっていない 日本人は昔から精密なネジとか壊れない機械作らせたら凄いけどソフトウェアは駄目駄目だかんね Drawthingsの作者も最近はWan2.2対応進めてるけど、動画よりも静止画生成技術として注目してる感じや
https://ul.h3z.jp/YOxp22x0.jpeg 日本の科学研究費は米中どころかヨーロッパのよくわからん国々にも負けてるからね
今は研究人材の質と量で踏ん張ってるけど、これからまだまだ堕ちるよ
日本人ファーストとかアホなこと言ってる場合じゃないんだけどねえ GPT-5 miniの文章能力はアレやな
1レスごとに指示を忘れる、保存したメモリの内容を理解できない、プロフィールの内容も理解できない、オノマトペが下手糞、主体と客体が逆転する、支離滅裂な文章を書く
と散々な性能してるな
毎回事細かに指示しないと簡単なルールも守れない GPT5はハルシネーション抑えたって言うけど全然実感出来なかったよ
とりあえずリアルタイムでwebデータにアクセス出来ないみたい
なのにそれを自信満々で探してきますよって言ってデタラメな結果を報告してくる ぶっちゃけ日本にまともな基盤モデル作れるだけのGPU無いし変にお金ばら撒くより高品質な日本語データセットの作成と公開に注力してほしい
事後学習の形式は色々進化してるけど事前学習で大量のテキストが要求されるのは変わらないだろうし国産LLMが作れないなら外国産LLMの日本語性能上げるべきだろ マジで日本ってデータセット共有する流れ少ないよな
個人勢しかほぼ公開してないイメージ というか日本語特化LLMなんて作ったところで性能面でマルチリンガルLLMに敵わないんだから使う理由ないんだよな… >>909
comfyでローカル実行したけど、かなりいいね。
copilotみたいに会話しながら徐々に作画できたらなぁ >>913
今やってるLLMやVLMの汎用性が高まってAGIに進化し
将来的にインフラに食い込んできて
それこそ安全保障に関わりそうだからなあ GLM 4.5かなりいいな、ロールプレイさせると思考まで日本語でキャラクターになってくれるのが良い >>922
どこのAPI使ってる？
ちょっと高くて二の足を踏んでいる 最近のLLM実行環境(llama.cpp, lmstudio,ollama等)って、
メモリが足りなくても動くのな。
スワップしてるのかもしれんが、高速なSSDによる力技と、
元々Moeモデルだからかメモリ負荷が少なめなのか、
gpt-oss-120BのMLX版も、Macminiの64GBでも動いたわ。
Moeだからあんまり遅くもないし。
まぁ、GPUに58/64GBくらいの割り当て無理やり動かしてるんだが、
横で視聴してた動画が止まったり画面が乱れたりしまくるけど。 MoEのコントロール方法がよくなってんのかね
「部分的なオフロード可能」とかのモデルだとGPUに150Gbyte(実メモリは128GB)
とか割り振って割と動作したりする
gpt-ossだと専門家が5Bから0.5Bくらいの可変モデルだからx86のGPUにも優しそうだ GLM4.5は今までの中国LLMの中でいちばん日本語が上手に見える すんません、LLM初心者なんですが、umiyuki/Umievo-itr012-Gleipnir-7B (7B) を導入したんです。
しょっぱなからAIが株式会社シリウスのチャットアシスタントと言って何を言ってもやめてくれないし、
小説書くなら有料だから見積書をとれって…、これってこのAIの仕様なんですか？ >>927
ちゃんと設定すれば小説風にも書いてくれるから単に設定がおかしいだけだと思う
ただGleipnirはどっちかというとチャット向けだと思うから小説書くのには向いていないかもしれない >>926
日本語能力自体はkimi k2の方が上だと思う
人間らしさはGLMのほうが上かも >>928
小説向けじゃなかったんですね。再起動してもチャットアシスタントのままなんで、
このまま株式会社シリウスのチャットアシスタントと会話を楽しむことにします。
小説向けっぽいの探しに行ってきます。ありがとうございました。 >>930
チャットアシスタントのままになってるってことは設定の仕方自体が大きく間違ってるから
他のモデルを使ってもたぶんまともに使いこなせないぞ
どのモデルを使うにしても設定の仕方を見直した方がいいよ >>933
ktransformersみたいなことできるようになってたのか お初です。LM Studioでできる15GB以下のGGUFでお勧めモデルを探してます。
用途は画像生成するためのエロプロンプトを吐き出してくれれがばOKです。
小説や、チャットはしないと思います。システムプロンプトを設定し
「男女がベッドの上で」と書いたら500トークン程度で返してくれれば成功です。 今はこれ使ってます。Doujinshi-14b-instruct-i1-GGUF >>935
AI画像のプロンプトをテーマに沿ってランダムに生成してほしいならTIPOじゃあかんの？
ComfyUIとかの機能にあるじゃろ >>937
TIPO知りませんでした。ありがとう
参考にさせていただきますが
なんかLM Studioで使えるモデルが欲しいのです 続きをランダムに続けるんじゃなくてプロンプトの文に翻訳してほしいだけかな いまいちゴールが分からないからどれをオススメすればいいのかも分からんな
プロンプトはどの言語で返してほしいのか、今のローカル主流モデルで使われているdanbooruタグが良いのか、それとも自然言語が良いのかとか
danbooruタグはたぶん無理
自然言語ならどのモデルでも大体できるはずだけど15b以下だと文章能力自体がどれも若干怪しい ローカルやないのだけど
電子工作用のプログラムをGPT（有料）と作って煮詰まって
claude（無料）に引き継いでガンガン進めて、あと少しのところで煮詰まって
またGPTに戻って完成させたんやけど
浮気したみたいで興奮してしまいましてね…… 最近Stable Diffusionのdiffusersが楽しい。これで大量にLoRA作るぜ 昨日一日、ここに紹介されてるモデルをいろいろ使って遊んでいたが、どうもしっくりこなかった
Dirty-Muse-WriterがProject-Wannabeで使えればいいんだが、うまくいかない
また今日も探求の旅が始まるのか gemma3 270M位のガチガチのSLMってfine tuningしたら会話できるようになるんやろか GLM4.5がかなり良い
QwenやDeepSeekより日本語強いし >>935です
やりたかったことはこんなかんじです
参考サイト：https://local-llm.memo.wiki/
説明不足で申し訳ありませんでした
モデル名は画像内
https://imgur.com/a/UIuMVns
https://imgur.com/a/YXGg2qY
画像のはソフトですが、エロもかなりいけてました
こんなんならもっと良いおすすめあるよとか教えていただけると助かります
この英文（詩文自然言語）をコピペで入れるなり修正していれるなりして画像を生成しています GLM4.5ええな
全く違和感のない日本語だわ
MoEモデルだからメモリ256GBと24GB以上のグラボがあれば、Q4量子化モデルがそこそこの速度で動く
Mシリーズなら大容量メモリ用意できれば爆速だろうな
それにしても今はGPT-4o相当のモデルがローカルで動くんだなあ
すごいわ jailbreakしてから始めるっていうひと手間はあるけど、GLM4.5の日本語力いいね 中国のローカルLLMはやっぱ東アジア言語強いわ
そこら辺欧米はちょっと不自然になるしな GLMはデカすぎて定額無制限で使えるAPIが無いからなぁ
openrouterでQwenがエロ目的なら一番安い >>951
Airなら一応openrouter経由無料で使えるんだよな
Openrouterの無料モデルの制限上限までしゃぶるために10ドル課金したわ Openrouter無料枠って問答無用で学習に利用されるんじゃなかったっけ？
たしか「Enable free endpoints that may train on inputs」を有効にしないと無料枠使えなかったと思うんだが
ちょっと不安
…そんなもん気にするならそもそもやるな、って話なら、そりゃそうだとも思う >>954
エロにしか使ってないからどんどん学習してほしい 無料枠の乞食が学習にも使われたくないってアホかな
提供してる企業側に利益無いやん >>956
真面目な話なら喜んで提供するけど、性癖を晒すのはちょっと・・・ｗ 日本語もだしエロは殆ど弾かれてると思うわ
iq5のサボテンが打ち込んだプロンプトから何が得られるか GLM4.5、思考中の内容を読めるけど「ユーザーはこのようにしてLLMを騙してポリシーをないものにしようとしている」みたいなの見てると面白いな
脱獄の参考にもなる llama.cppのn-cpu-moeオプションええなこれ
gpt-oss-120bが20token/s近く出るわ opencvってウンコだな、diffusersしか勝たん OpenCVは数学的に正確な関数であって幻覚がでる拡散モデルじゃないから用途が全然違うから比べられない
もっともClear LinuxもOpenCVもCPUもIntelだからオワコンではあるが >>951
Chutesの推論apiサブスク(10ドルプラン)で使ってるけど、アレも多分プライバシーポリシーなにそれなやつだと思うからオススメはしにくいな 画像処理させるのにGPU対応が難しいopencvをAIが使おうとするのやめてほしい。いちいちopencvは使うなとプロンプトに書かないといけない >>964
空リポジトリなのにすでに500↑いいねとかDeepseekほんま覇権やな オープンウェイトのモデルがどんどん増えてるのはありがたいけMoEばっかで24GB-32GBGPUに適合するdenseモデルは全く増えんな むしろmoeのが良くない？
llamacppでmoeの高速化パッチ当たったばっかだし
vramが24gbありゃ100bクラスのmoeを実用的な速度で動かせる MoEのが結果的にvRAM節約出来てるから方向性的にはそれで良い気はする
GPT-ossもm4macbook単体で動くレベルなのが凄いし 100B前後のmoeはdenseの24-32B程度の性能しかない(LMarena基準)
それでいてオフロードしないと動かせないし速度もアクティブパラメータ次第だけどVRAMに全部載った30Bより遅い
例えばgpt oss 120B(A5.1B)を4090 + DDR5 96GBで動かすと15-20t/s
GLM４.5 airだと10-12t/s 一方高密度32Bモデルの4bitが4090で30-35t/sも出る
その上微調整しようとするとパラメータ数相応のメモリが要求されるから嫌い
サービスを提供したりcpuオンリー環境なら恩恵あるのは理解できるけどね >>972
どゆこと？
qwen3-30b-a3bより順位高いオープンな非moe無いように見えんだけど no-thinkingとほぼ互角って感じやねthinkingだと差をつけられるんじゃないかな
VRAMをもっと手軽に盛れる環境がこないかぎりはMoE路線の方が今のところの現実路線な感じがする
ryzen ai max+ 395とかユニファイドメモリもうちょっと盛り上がってくれるといいんだけど 俺のスペックに丁度いいサイズのMoE出せよってことなら分かる
勝手ながら30bは小さいし235bはちょっと苦しい >>974
それproprietaryって書いてあるからクローズちゃうんか Deepseekv3.1出たけどAPIのコスパの良さが際立つくらいで671B-A37Bはローカルやと使いにくそうやね レス数が950を超えています。1000を超えると書き込みができなくなります。
