なんJLLM部 避難所 ★4
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★3
https://mercury.bbspink.com/test/read.cgi/onatech/1717886234 >>642
sbtom/reasoning_ability_test
これな
ちなgpt4tでも以前やった時不正解だったわ >>643
おお、これがそうなのか
試しにchatGPT君に出題してみたらLV1でもかなり間違えるのな
人間ならすぐ分かるレベルの問題だけど、ストロベリー問題みたいに構造上の問題でもあるのかな
推論の過程をみると、不正解の時には誤った仮定をそのまま事実として使ってしまっていて、正解した時には一度出した仮定を洗い直しているっぽいから、そういう思い込みみたいな思考の癖が根底にある感じ・・・？
勉強になった、ありがとう 生徒会恋愛問題はなんというか説明の仕方が悪いだけな気もする…
まあそれも含めて能力テストなんだろうけど まだLLMが思考してると思ってる馬鹿が居るのか
画像の高解像度化と同じなのに ひょっとするとあなたもわたしも
思考してないかもしれない AI学習できるマザー出すくらいならVRAM直付けで出してくれよ >>646
原理知らない分かってないのに無理に例えるからいらん恥をかく こんな板にも言葉尻を捕らえてマウントを取ろうとする奴が沸くのか
なんて思ったけど
やけにLlama-3.1-70B-Japanese-Instruct推してくる奴とか
そういえば強い言葉好きな奴既に居たわ o1の推論プロセスなんか見ても既にLLMの生成はオートコンプリートの延長線とは言えない段階まで来ているだろ
研究者だって多量なデータを与えたことによる応答の質が大きく向上した現象にグロッキングとかいう単語を置いて謎としているわけだし 謎の進化を遂げたみたいに言うから嘘と言われるわけで、ある閾値を超えると(人間から見て)性能が劇的に向上する現象が観察された、と言えばみんな納得するでしょ o1レベルの性能らしいDeepSeekのR1-Lite-Previewがローカルにも来るって話だけど何Bぐらいなんだろうな
まさかDeepSeek-V2-Liteと同じ16Bってことはないだろうけど だよなー、GPU輸入制限食らっとるのになんでやろ？
うまいこと回避しとるんかな。 (日本でH100買って)中国に行って観光して帰ってくるだけで儲かるんでしょ？ >>656
外国で大量にグラボ買ってそこにデータセンター作ってクラウドでやってるって聞いた 4090のGPUとメモリ引っ剥がした残りのゴミを日本人に10万で売りつけてウハウハだしな
養分すぎるわ本邦は データセンターのサービスを使うという形でならアメリカでも
https://www.moderntimes.tv/articles/20240828-01dxw/
まあ要は製品の輸出を規制したところでクラウドサービスの利用は現状ノーマークだから第三国でやりたい放題出来る
それも規制しようとしたら世界中の国に、中国相手にデータセンター使わせるなって恫喝しなきゃならん >>637
これredditで上がってたけど温度高いと出る不具合っぽい
70くらいだとほとんど出なくなった なんとかEasyNovelAssistantの導入に成功したけど今流行りのローカル環境ってどれなん？しばらくはこれでいい？ >>667
それは小説書かせたい時用のやつ
チャットしたいならまた別のやつが良いし 決め打ちでモデルのダウンロードとかできるから
EasyNovelAssistantでダウンロードと起動までして
対話型はSillyTavernでやればええんじゃない KoboldCppにあらすじ書いて清書してもらうってのを続けてたら
5〜6ターン目で勝手に指示を無視して書き続けるのは何なんやろ
GPTならいい感じに続くのに >>670
とりあえずモデル名書いて
おそらくコンテキストレンジ超えたことで最初のメッセージを忘れてるんだと思うけど >>671
ｻﾝｶﾞﾂ
Berghof-NSFW-7B.i1-Q6_K.gguf
つことる
コンテキストサイズってところは4096でやってる コンテキストサイズ4096だと日本語じゃ6000文字くらいしか覚えられないんじゃないか？
GPTってモデルにもよるけどたしか128kだったか200kあるから同じように使ったらまあそうなるんじゃないか >>672
berghofはNSFWもERPも8196までいけるで 8192でもちょっとチャットして遊んだらすぐに超えちゃうよね easynovelでJapanese-nsfwなんちゃらっての使ってるんやが
どうしても官能小説っぽくなるわ
AI音声に読み上げさせたいからセリフ中心で出力させたいんやけどそういうテンプレとか強いモデルってある？ ローカルで128k対応モデル使ってみたことあるけど応答が遅くならん？
32Kで応答6秒くらいかかるようになってチャットだとストレスだった記憶
RTX5090のGDDR7なら良くなるのかな？ 他のモデルに浮気したが、Vecteus-v1は16384でも日本語破綻しなくて結局戻ってきた。
（でもスペック都合で12288で使ってる） エロい喘ぎ声聞きながら読むとすごくエッチな気分になるんだが
良い素材何処かにないだろうか？もしくは生成できないかな？ EasyNovelAssistantを再インスコしようとしたんやが
[EasyNovelAssistant]ってフォルダ入れ子にならない？
最終的に[setup]ってフォルダに本体入るみたいなんやが コンテキストサイズ大きくてもチャット増えるとどんどん混乱するから6000くらいに収めてSTで要約 もうスクリプト落ち着いたしもともとの板に本スレ立てない？
ここ人来ないから勢い落ちちゃってるし ええと思うけど
あっちはあっちで即死回避とか必要なんやっけ どんぐりの意味がわからなくて、向こうで書けないんだよな
ローカルAIに聞いてもブナ科の実です、しか答えてくれないし 数ヶ月前なら調子良かったけどな
今の5chは規制やりすぎて普通の会話もしんどいからな
保守できるなら本家としてあっちに立てて誘導貼っとくならええのかなってくらい なんU復帰ええと思うけど戻ったところで人が集まるかといえばどうなんやろな
ずっと人気なNVAと比べてLLMの場末感よ ローカルLLMの要求スペック高すぎなのがあかんのや…
手を出しやすい7Bはもう新しく語ることもほぼないだろうし ここで言うことでもないが、チャットサービスで脱獄するリスクとコスト、ローカルで動かすコストを比較したうえで結果物のクオリティを比べるとな……
ローカル生かしてLoraとか作ってもっと好みに調教できたら良いのかもしれんがそれこそ一般家庭離れしたスペックが必要やろうし 申し訳回避なんぞリスクもコストも何もないからな
サービス側ももはや諦めてて大手すら放置状態やし でもまあ避難してた理由がなくなったんやからなんJに帰るんは賛成やな
どんぐりのレベルが10を超えないとURLが貼れないって問題はあるけど、LLMの話題やとあんまり問題にならんやろうし、やっぱ人と話題が少ないんは寂しいわ LLMさわるならローカル以外邪道でGPUはRTX4090刺さなきゃ……エッチなチャットしなきゃ……っていうのは錯覚じゃん？
ここ最近ひたすらDify触ってるんだけどノーコード版のLangchainみたいなやつでエージェント(というかAituber)作る楽しみを見出したりしてる クラウドの話もべつにいいんじゃね
Anthropicの無料で使えるのHaikuになりがちになってきたからOpenrouter使い始めたけどなんかClaude3.5sonetにもシステムプロンプト設定できたんだけど
ノリで「一人称：あーし 絵文字多用」的なの設定したら流暢に正規表現やReactコンポーネント書くギャルが爆誕して気に入ったわ ボイス付きでキャラになりきりながら雑談もタスクも付き合ってくれるようなエージェント、みたいなのはもっと流行らないかな
節約とセキュリティのためにDifyでローカルとクラウドのLLMを使い分けつつ色々やろうとしてるけどフローの効率化が難しい 『出力する行ごとの内容は全く同一にしないこと。』っていう指示を追加したらあんまり繰り返しループに陥らなくなった気がする
カッコ文の内容もある程度バラけるようになってより小説っぽくなる、ような気がする（当社比） 来年頭には次世代GPUが出まくるからローカルでの話題も増えるだろうし、それまでのんびり話題繋げりゃいいんじゃないの。
結構参考になる内容も書き込みあるし。 まあcceは学習時に使うものだから我々に直接的な関係はないんだけどな entropixってやつで小さいモデルでもよくなるんだろ？ >>698
ワイはaituber-kit触ってるけど作者がOpen Interpreter使ってコード実行環境もたせてタスク実行機能持たせたりしてたな
あんま実用性ないらしいけど
ロマンは感じる このスレ知的レベル高すぎん？
何いってるのかさっぱりわからんぞ >>703
知識面ではパラ数が物を言うから根本的な解決にはならないんだよな
あと最適な学習量じゃないと逆効果だし(qwenなんかは過学習だからスコア落ちる)
>>705
半年ローカル触ってればわかるようになるよ
さあこっちに来るんだ 用語も多いからちんぷんかんぷんになるのもしゃーないで
「温度が高いと問題が出る」なんて一般用語っぽい話も、Temperatureって専門用語を知らなければ室温とかGPU温度くらいにしか思い至らんやろうし…… 今でも更新されてる初心者向けwiki知ってる方いたら教えていただきたい
探したけど大抵去年か今年半ばで止まってるので LLMに関してはないんだよなぁたぶん
としあきとかも触ってないんかな https://local-llm.memo.wiki
ローカル用だけど、こことかたまに見に行くけどもちょくちょく更新されてる。
初心者向けかどうかとか、求めてるものかどうかとかは分からん
個人的にはローカルで、キャラとのエチャとかをどうやったらいいのかとか
その辺具体的に書いてあるサイトとか探してるんだけどどっかにないっすかねぇ…？ 割とマジでここの過去スレ漁るのが1番有益やと思うで 正直ヤッて覚えるのが一番早い気がする
あと、ChatGPTにコンソールログとかUIの設定画面とか見せながら聞くとそれぞれどういう意味なのか教えてくれるよ AIにAIのこと聞くんですね笑
がんばって英語読みながらやってみます koboldの新機能のマルチプレイヤーモードって何ができるようになるんだ？ リリースに書いてある通り、俺とお前で同じAIチャットに参加できるってことじゃないのか
みんなでTRPGとかが出来るんだろう
https://github.com/LostRuins/koboldcpp/releases みんなで寄ってたかってAIにセクハラできる機能なのか。 > Bugfix for Grammar not being reset, Bugfix for Qwen2.5 missing some UTF-8 characters when streaming.
こっちの方が嬉しいかも。
試した限り、「Token Streaming」が「SSE」のままでも
例えば「しずかちゃん」が「しかちゃん」になる問題が直ってた。 easynovelassistantについての質問です。
用意されてる以外のモデルを使いたい場合、ユーザー側で気軽に追加できる方法などはあるのでしょうか。
同梱されていたkobboldの方でモデルを読み込むとeasy〜の方でもどうやら使えているようなので、今はこのやり方でやっているのですが、このやり方だとモデルの真価が出せているのか不安です。 >>720
読み込むモデルが違うだけだから性能が出ないとかはないよ
レイヤー数いじらないと遅くなるとかはあるけど 7Bにしてはそこそこマシみたいな日本語対応モデルはチラホラ出て来てるけど
14-32Bくらいの一段上のモデルが停滞してると感じるな 半年ぐらい新しいモデルを見かけない気がする
探してるところが狭すぎるのかもしれないけど >>720
EasyNovelAssistant\setup\resにあるdefault_llm.jsonを書き換えろ定期
でもこれ弄るとアップデートする時にエラーになるらしいから今困ってないならそのままのやり方でもいいんじゃね Hermes-3-Llama-3.1-70BのUncensoredでそこそこの日本語エロは楽しめたけど、一回の生成に時間かかりすぎてテンポ悪すぎるんよなぁ VRAM足りなくて7Bまでしかまともに使えないんだけど最近何か新しいの出てる？
ここ半年ぐらい同じモデルを使い回してるわ >>725
バッチファイルと同じフォルダにあるllm.jsonをdefault_llm.jsonと同じフォーマットで書き換えれば
メニューに反映されるしアップデートもうまくいくみたいだよ >>724
最近だとmagnumシリーズが日本語性能良かったぞ ありがとうございます、知識が増えました。
実力は足りないので無難なやり方でやっていこうと思います >>729
やっぱ70Bクラスじゃないとそこそこの性能は無理なのか…
いい加減まともなVRAM積んだグラボどっかが出してくれよ intelあたりの負け組がやってくれれば良かったのにARC Bこのまま消え去りそう VRAM96GBらしいStrixHaloことRyzen AI Maxが希望だけど、どのくらいの値段でどういう商品として出てくるのか素人にはさっぱりわからん
普及する価格帯なら嬉しいんだけどな 10年前のXeonよりも今のi5のほうが高性能なんだよな そもそもVRAMじゃないし何もかも間違ってるぞ
強いAPUに128GBメモリ版が出てその内96GBをVRAMとして振り分けられるってだけ
速度は所詮DDR5だから遅い
値段は最上位ノート扱いだろうから30万〜じゃね？ >>737
Strix Halo APUは256ビットのLPDDR5Xメモリコントローラーを備え、273 GB/sの帯域がある
通常のDDR5の5倍、M4 Maxの0.5倍くらいの帯域じゃない？ Haloが成功すればMaxだのUltraだのが出る流れかもしれない Intel ARC B580 VRAM12GBメモリ帯域456GB/sで249ドル
まあまあ安いな M4 Max 並みの帯域幅か。
53万するM4 MaxのMacbookPro だと
ユニファイドメモリ36GBから28GBほどGPU割当てできる。
ARCx2個分24GBだとするとGPUだけで500ドル？高くない？ ■ このスレッドは過去ログ倉庫に格納されています
