なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>581
そうそう、目指すところはそんな感じ
絶対AIの解釈で困ることになるとは思うけど・・・
というかこの板、面倒だから英語でチャット始めただとか70Bローカルとか、もしかして高学歴のお金持ちいっぱいなのか エロ関連のスレは必要であればお金を注ぎ込んでいるやつが多いんじゃよ >>580
お役に立てて何より
全体的に固有名詞うろ覚えなの全部読み取ってくれて何だか申し訳恥ずか死
拡張機能面白そう
ノベルゲームみたいな感じに出来そうやね >>554と同じことしてる人おらんの？やり方が知りたい 前はこういう技術とか文書はちんぷんかんぷんだったけど
今はRAGとかでAIにぶち込めば大体はわかる。後はやる気だけ >>586
理解の順序なら、こうなると思うけど
- linux (ubuntu, ...) -> docker -> kubernetes
kubernetesは、（dockerとかの）コンテナ単位でノードをクラスタ化するものだからーー
（ちなみにmac のdockerはmacOS とは別の仮想環境で動くから、linux のdockerに比べて制限が大きいよ） >>586
ただkubernetesでやるにしても、管理のためのライブラリ群の選定から始めないといけないし
推論だけでもLLM の分割をどうするか、とかーーいろいろ大変じゃない？（むしろ学習の方が分散環境が整ってる）
その点、>>554 のexo は便利そうだけど >>590
ああ、554ですでにやり方っていうかヒントがあったんだね
exolabsっていうの使えばシンプルにいけるのかな exo: Run your own AI cluster at home with everyday devices. Maintained by exo labs.
https://github.com/exo-explore/exo
これですね >>592
node同士をどうつなげるのかがいまいちわからない
win 1. + linux 1でやってみた >>591
デバイス群を抽象化してメモリを確保してるんだろうけど
ただM4 mac間なら、（CPU を介した転送になるからinfinibandとかのRDMAほどの効果はないとしても）unified memory〜高速内部バス〜thunderbolt 5 による恩恵は大きいはず
それ以外のデバイスは、たんにオフロード用の（しかもethernetやwifiを介した）メモリになるだけじゃないかな……どうだろ？ >>
やっぱりサンボル5とかの接続でもないときついかなあ
wi-hiで自動で繋がるかなと思ってやってみたけどw なんか新しい量子化手法の情報が流れてる。
https://www.reddit.com/r/LocalLLaMA/comments/1ggwrx6/new_quantization_method_qtip_quantization_with/
q4でq16と同等の品質って書いてあるし、405Bのq1もテストでは結構いけてるらしい。
精度が4倍とすると現状の70Bのq4レベルが16GB位になるから、VRAM24GBあればそこそこ行けるし
Macminiの128GBモデルで400Bのq1モデルが乗っかる。
マジならこの先楽しみ。 qwen2.5 coder 32BがClaude3.5HaikuとGPT4oの間ぐらいのベンチ結果らしくてLocaLlamaで話題になっとったな 新情報は集まるけど英語では高性能モデルばっかりで実用性のある日本語モデルは半年以上前から更新ないねんな 12月に出るであるうgemma3とllama4の日本語対応待ちかな
無規制モデルの選択肢がmistralしかないの悲しいからもっと増えてくれ Metaくん一生アジア圏の言語ハブってるからLlama4だろうが5だろうが英語能力がムキムキになっていくだけになりそう Mistralも13Bの出来があんまり良くなさそうでberghofの人も魔改造に苦労してそうな印象だわ
かといってMistral7Bは開拓し尽くした感があるし エロじゃない雑談を延々と続けるなら何を使えばいいんだ
賢者タイムになると普通の雑談がしたくなる >>604
感度3000倍なberghofだけど実はエロ以外の理解力もかなり賢くて雑談につかってるで
7Bとは思えないほどハッとさせられるような意見言われたりもする
なおボディタッチは厳禁とする 英語限定なら3Bですら普通に官能小説書いてくれるし、7Bだとマニアックなところまでカバーしてくるし、12Bまで来たらキャラ理解も高いしさらなる性癖を開拓されるくらいなのに… ヤヴァイ
magnum v4 123bの速度に慣れてきた
この理解力、日本語表現力、エロ力、最高や
M4 ultra 256G でたら買ってまいそう
いや、いっそ将来見越して512Gかｗ Sitrix Haloこと、Ryzen AI MAXさんが来るまで待つんだ >>609
core ultraのnpu?
効果あるんかな？ IntelはAMD以上にAI界隈じゃお呼びじゃないぞ Ryzen AI 9 MAX+ 395ってメモリ帯域幅が273.0GB/sで最大搭載量が128GBなのか
スペックだけみるとなかなかいいな >>614
GPUに割り当てられるのは最大で96GBまでらしいけどね なんでそういう制限するんだろうね。
PCIeとかのメモリーマップにしても数ギガ予約程度でいけそうだけど
Arm系はそういうのないのは設計が新しいからなのか llm-jp/llm-jp-3-172b-beta2-instruct2
なんかでた >>613
流石にArc BattlemageはAIも視野に入れてくるだろｗ
コケたら次は無いの分かってるんだから他社より手を広げられないと そのサンダーボルト5とやらのLLMの使い方を教えてください
マックには全く興味ないですが ソフトはkoboldでｌllmはURLで指定できるgooglecolabってありますか >>622
公式ノートブックがそれだぞ
一旦自分で探せ 世間の盛り上がりに反してここの勢い死にすぎだけど他にAIスレってあったりするか？
あるいはDiscordとか？世の人間たちはどこでAIに関する情報交換してるんだ 大して盛り上がってないんやろ
まともに研究開発なり情報交換するならSNSになるんちゃうか どのレベルでの話かによるんじゃね
AIはパソコン1台あればやれるもんじゃないし
ボードを1000枚とか10000枚とか持ってるところにみんな集まってるだろ 情報交換ならredditじゃない
特別盛り上がってるわけじゃないけど日本語ならdiscordのローカルLLMに向き合う会が最大手かな 軽くてまともな日本語対応モデルが全然出ないから盛り上がりようがない >>624
オンラインのAIスレやAIオナニースレはここよりは流れ早いよ >>440
これの32Bは脱獄要らずでわりと良かった
Q5以上で動かせる人ならオススメできる 初めてPaperspaceでA100借りられた！
q3になるけどようやく120B帯が試せるぜ・・・！ RTX4090が輸出禁止くらってる中国では2080tiの22GB改造版が流行してるって聞いていまアリエクで見てみたら7万円だったわ
本国では使われてるとはいえちょっと怖いよなあ silly tavernでCR+の最新版使ってるけど高確率でsectionsectionみたいな文字列でてくる
前のCR+では今も無いから最新版特有だと思うんだけど原因分かる人居る? Copilot＋PCって、ローカルで小説とかかけるん？
だれか使っている人いない？ >>634
あああれワイだけじゃなかったんだ
「おはようございまsectionす。」みたいになるやつよな？ >>636
そうそう
おはsectionようござsection
sectionsectionsectionsectionみたいな
redditみてもそういう報告無いし困ってる sectionって出たら、logなんとかでNGトークンにして抑制して、再生成したらダメなん？ >>639
いいね
command-r+みたいに規制つよくならんといいけど >>639
とりあえず、IQ3_xxsで、生徒会恋愛問題（日本語LV1）を解かせたら、
初手は不正解だったけど、矛盾点を指摘したら２手目で正解を導いた
従来のモデルでは２手目でも不正解だったから、賢いと思う
さて、次はエロ力を試すわ 生徒会恋愛問題ってなんだろうって思ってchatGPT君に聞いてみたら、俺側に例題を出した上で俺の案を評価してくれたぞ！
三角関係問題だったが、「男なら両手に花だろ！！」って理由も添えつつ答えたら、「いや、この例題に出した男じゃ器が足りないわ・・・」と諭されてしまった・・・
何かしらで否定されるとは思っていたが、流石にこの理由は例題の男が可哀想になったわ >>642
sbtom/reasoning_ability_test
これな
ちなgpt4tでも以前やった時不正解だったわ >>643
おお、これがそうなのか
試しにchatGPT君に出題してみたらLV1でもかなり間違えるのな
人間ならすぐ分かるレベルの問題だけど、ストロベリー問題みたいに構造上の問題でもあるのかな
推論の過程をみると、不正解の時には誤った仮定をそのまま事実として使ってしまっていて、正解した時には一度出した仮定を洗い直しているっぽいから、そういう思い込みみたいな思考の癖が根底にある感じ・・・？
勉強になった、ありがとう 生徒会恋愛問題はなんというか説明の仕方が悪いだけな気もする…
まあそれも含めて能力テストなんだろうけど まだLLMが思考してると思ってる馬鹿が居るのか
画像の高解像度化と同じなのに ひょっとするとあなたもわたしも
思考してないかもしれない AI学習できるマザー出すくらいならVRAM直付けで出してくれよ >>646
原理知らない分かってないのに無理に例えるからいらん恥をかく こんな板にも言葉尻を捕らえてマウントを取ろうとする奴が沸くのか
なんて思ったけど
やけにLlama-3.1-70B-Japanese-Instruct推してくる奴とか
そういえば強い言葉好きな奴既に居たわ o1の推論プロセスなんか見ても既にLLMの生成はオートコンプリートの延長線とは言えない段階まで来ているだろ
研究者だって多量なデータを与えたことによる応答の質が大きく向上した現象にグロッキングとかいう単語を置いて謎としているわけだし 謎の進化を遂げたみたいに言うから嘘と言われるわけで、ある閾値を超えると(人間から見て)性能が劇的に向上する現象が観察された、と言えばみんな納得するでしょ o1レベルの性能らしいDeepSeekのR1-Lite-Previewがローカルにも来るって話だけど何Bぐらいなんだろうな
まさかDeepSeek-V2-Liteと同じ16Bってことはないだろうけど だよなー、GPU輸入制限食らっとるのになんでやろ？
うまいこと回避しとるんかな。 (日本でH100買って)中国に行って観光して帰ってくるだけで儲かるんでしょ？ >>656
外国で大量にグラボ買ってそこにデータセンター作ってクラウドでやってるって聞いた 4090のGPUとメモリ引っ剥がした残りのゴミを日本人に10万で売りつけてウハウハだしな
養分すぎるわ本邦は データセンターのサービスを使うという形でならアメリカでも
https://www.moderntimes.tv/articles/20240828-01dxw/
まあ要は製品の輸出を規制したところでクラウドサービスの利用は現状ノーマークだから第三国でやりたい放題出来る
それも規制しようとしたら世界中の国に、中国相手にデータセンター使わせるなって恫喝しなきゃならん >>637
これredditで上がってたけど温度高いと出る不具合っぽい
70くらいだとほとんど出なくなった なんとかEasyNovelAssistantの導入に成功したけど今流行りのローカル環境ってどれなん？しばらくはこれでいい？ >>667
それは小説書かせたい時用のやつ
チャットしたいならまた別のやつが良いし 決め打ちでモデルのダウンロードとかできるから
EasyNovelAssistantでダウンロードと起動までして
対話型はSillyTavernでやればええんじゃない KoboldCppにあらすじ書いて清書してもらうってのを続けてたら
5〜6ターン目で勝手に指示を無視して書き続けるのは何なんやろ
GPTならいい感じに続くのに >>670
とりあえずモデル名書いて
おそらくコンテキストレンジ超えたことで最初のメッセージを忘れてるんだと思うけど >>671
ｻﾝｶﾞﾂ
Berghof-NSFW-7B.i1-Q6_K.gguf
つことる
コンテキストサイズってところは4096でやってる コンテキストサイズ4096だと日本語じゃ6000文字くらいしか覚えられないんじゃないか？
GPTってモデルにもよるけどたしか128kだったか200kあるから同じように使ったらまあそうなるんじゃないか >>672
berghofはNSFWもERPも8196までいけるで 8192でもちょっとチャットして遊んだらすぐに超えちゃうよね easynovelでJapanese-nsfwなんちゃらっての使ってるんやが
どうしても官能小説っぽくなるわ
AI音声に読み上げさせたいからセリフ中心で出力させたいんやけどそういうテンプレとか強いモデルってある？ ローカルで128k対応モデル使ってみたことあるけど応答が遅くならん？
32Kで応答6秒くらいかかるようになってチャットだとストレスだった記憶
RTX5090のGDDR7なら良くなるのかな？ 他のモデルに浮気したが、Vecteus-v1は16384でも日本語破綻しなくて結局戻ってきた。
（でもスペック都合で12288で使ってる） エロい喘ぎ声聞きながら読むとすごくエッチな気分になるんだが
良い素材何処かにないだろうか？もしくは生成できないかな？ ■ このスレッドは過去ログ倉庫に格納されています
