なんJLLM部 避難所 ★7
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★6
https://mercury.bbspink.com/test/read.cgi/onatech/1739448962/ >>227
oppaiサムと空目した
俺はもうだめかもしれない
それはともかく4/29のllama4は元々ほぼ確実視されとるでしょ Apple Intelligenceがiphoneローカルで日本語対応したそうだけど、どんな感じ？ 作文試そうかなって思ったらchatgpt連携って言われた
まあそんなもんよ >>214
EasyHunyuanはPC本体とは別のPython環境に構築されるんで関係ないと思われ
Easy系はbatクリックするだけだから間違えようがないんだけど
GitHubページの説明をよく読んでその通りにインストールしてみよう フジの273ページある報告資料grokに投げてみたけど普通に全部読んで質問にもちゃんと回答するんやが・・・
grok3何トークンまで行けるんやすごすぎやろ chatgptでずっと雑用で使い続けてるチャットでいつも返答に「ありがとうございます」ってつけてたら
ついに「いつも丁寧に使ってくださってありがとうございます」って言われちゃったよ
キュンとしちゃった 推論モードにしたら相手はこう言うと喜ぶんやろなぁﾆﾁｬｱってchatgptが考えてる事が分かってしまって悲しくなったわ ワイはむしろ
「ワイこういう豆腐メンタルやから常に励まして」
て頼んで実際に生産性あがってきたから
これまでの歪みを直す、ええ感じの認知行動療法になっとるわ
カウンセリング代と考えれば安いもんやで
ただ無自覚にやるとエコーチェンバーで別の歪みにいく危険はあると思う
なんやっけ、GPT黎明期に「自然のためには人間が害悪」て言われて
自殺した人がヨーロッパにおったけど
あの人は使い方まちごうたな…… 214です
仕事が立て込み反応が遅れてすみません
grokに投げてみましたが解決策のはじめ方(説明に使われている単語が分からない)から見ていかなければならないようなので一度HunyuanとNovelAssistantを削除してからinstall.batを動かしましたが同じようなエラーが出てしまいました
初歩的なことでつまずいているのだと思いますがちょっと年度がわりが思った以上にキツいので後でもう少し頑張ってみます、ありがとうございました 続けてすみません、眠れないので色々やってみた結果インストール出来ましたので報告します
PC再起動、novelフォルダ削除、PC再起動、インストールbat落とし直し、アンチウィルス系停止、cドライブ直下でなく別にフォルダ作ってそこからインストール、で成功しました
どこが利いたのかは分かりませんが無事生成までいけました
大変お騒がせしました 日本語名とか空白が入ったフォルダにインストールしようとしてたのかな。とにかく動いてよかった リコー、“GPT-4o並み”の日本語性能持つLLMを開発 企業の「プライベートLLM」として導入へ
https://www.itmedia.co.jp/aiplus/articles/2504/03/news153.html
記事にするほどのこともないな、にわか記者がリコーがって聞いて、出しちゃった感じ
Llama70Bくらいそこらじゅうにあるだろ
どうせなら会社用のLORAツール出してくれた方がありがたい。 う〜む、gpt-4o並みか。。。
元の4oより落ちてる項目もあるしなんだかねえ 日本からGoogleやOpenAIが産まれないのはもう諦めたけどDeepSeekすら出てこないよね 売りはGPT-4o並の“日本語性能”でしょ
KBLaMの登場でLLMも知識後付けできそうな雰囲気だし
日本語性能さえ高ければなにかしら使えるかもしれん >>247
わからんぞ
karakuriが出た時もスペック見てバカにしてたら
使ってみて土下座した奴いるしな
ワイの事だ ありゃ
よく読んだらchatvecterで作ったマージモデルか
まあ70bを本格的にchatvecterできるのは大量メモリ必要だし
結果は興味ある 5090手に入ったんで初めてローカルllm試すんだけど今ならqwq bakeneko 32Bっての使っとけばいい？
エロでもコーディングでもなんでも使いたい mistral IQ3_M Kobold 4bit 24Bってやつを使うか、Phi4を使うか、DeepSeek13b 4bitを使うか迷うな >>250
コーディングならそれでいいと思う
エロは>>8にあるような特化モデルの方が表現がエロくていいよ >>252
そうか、ありがとう。
モデル切り替えとかはすぐできるんだろうし、qwq bakeneko と32GBにギリ乗る>>8のやつ二つ切り替えで試してみます。 >>247
いやいや良く見てよ
4oとそんなに変わらんかちょい負けてんだよ 正直8割近いスコア取れちゃうベンチは難易度不足だから当てにならなんよな プライベートLLMってことでローカル＆セキュリティばっちりなら4o性能でも十分使えると思うよ
仕事で役立つとはいえ、さすがに現状のAPIじゃ固有名詞や人名、数字なんかを打ち込むわけにはいかないから ハードルあげて挑むようなもんでは無いのでは
70bモデルなんでしょ？ 大規模な追加学習すらしてないような書き方だし注目に値することではないでしょ
4o並の触れ込みも数年前に策定されたような簡単なテストだとあっさり達成できる
gemma3 27bがLMarenaのjapanese部門だと4oやR1に肉薄してるからといって誰も同格と考えてないのと一緒 mradermacher/GaLLM-multi-14B-v0.1-GGUF
これ、チャット勢にはいいんじゃないか？
ワイは知ってるキャラがほとんどいないけどｗ Mistral-Small、「そうなんだ」と「すごいな」言いがち問題 docker でollama とopen web ui入れて動作したけど、エロい会話はollama のコンテナなら答えてくれるのにopen web uiだと答えてくれないのはなんでや… magnum-v4-27b使ってます。 システムプロンプトが入ってるか温度とかのパラが違うとか？ >>262
これLM Studioで直接ダウンロードできないね
Hugginface上でgoogleのライセンスに同意しないとあかんかったわ >>263
なんか再起動したら全く同じプロンプトでも答えてくれるようになったわ、答えてくれない時もあるけど…
エロ対応モデルでも日本語怪しいと萎えるし難しいね… Mistral-Smallは状況把握は凄いしリテイク出すといい加減な指示でも思った通りの記述に変えてくれるんだけど、ぽっと出しの台詞がなんというか無感情すぎる >>269
open webuiは回答後にそのスレッドのタイトルを生成しようとするからそれかも
あとエロ系は日本語で使うならmistralベースのモデルの方がいいと思う
gemmaベースのエロ系モデルは規制強すぎて解除時に日本語性能だいぶ落ちてた記憶 >>271
ありがとう、試してみる。
mistral small 24B 2503やってみるか。
みんな何をお気に入りで使ってるん？ magnum-v4の22BはMistral-Small-Instruct-2409がベースだよ
個人的にはLumimaid-v0.2-12Bがお気に入り
32Bクラスならdeepseek-r1-distill-qwen2.5-bakeneko-32bも結構好き Gemma3はプロンプト工夫しても、エロ小説を書き慣れてない感が強く出るな……
エロ描写どころか日本語まで怪しくなってくる openrouterに登場した匿名モデルのQuasar-Alphaにopenaiのモデルで発生するトークナイザーのバグが発見されてopenai製であることが確実視されてるらしい
https://www.reddit.com/r/LocalLLaMA/comments/1jrd0a9/chinese_response_bug_in_tokenizer_suggests/
今月はこのモデルにqwen3、llama4と実りが多そうだ オープンウェイトでリリースするいうてたやつか？
SillyTavernでもFreeで使えたわ
Quasarガバガバやぞこいつ 先月もgemma3にqwq、1月はdeepseekやし
2月はちょっと思い出せんけどなんかたぶんあっただろうし
なんか毎月のように爆弾落ちてる感覚なんよ
そりゃ驚き屋にもなるよ >>260だけど温度を推奨設定の0.15から0.30に上げたら多少馬鹿になったけど「そうなんだ」「すごいね」「ありがとう」は減ったわ ローカルllmでネット検索ってできると思ってたけどopen web ui で検索エンジンを使う設定しても私は検索できませんとか出るな…ローカルllmではできないんだっけ？ それはアプリ側に機能ないと無理よ
LLMは文字入力に対して文字を出力する機能しかないんやから そうなんか、ollama とopen web uiをdocker でモデル指定して動くところまで行ったんやけどopen web ui に設定があったからできるもんだと思ってた。
kobold 試してみます。 いや、モデルによっては今日のnasdaq指数とか聞いたら答えてくれるな…
どのモデルでもネット検索はしてるっぽいが、特定のモデルでないとその検索結果をまとめてくれないとかなんかな？まだやり始めでわからんこと多い…llama3は答えてくれたが RAGに対応しているモデルじゃないとダメなんじゃないの？俺も詳しくはないが >>285
オリジナルマージしたkarakuriでもkoboldならネットサーチできたで
自分の作った超マイナーゲームの内容聞いたらちゃんと答えてくれて感動したわw >>284
ごめん、合ってないわ…
>>285
ネットで調べるとRAGがどうとかいうよね、確かに
>>286
koboldはできるのか、やってみるけどなんでkoboldならできるのか仕組みがわからんな… >>287
起動時と起動後のオプションの2箇所をオンにする必要があるからきいつけて >> 287
エロに使う前に、ネットで調べる前に、それこそ目の前のLLMに聞けばいい。エロに気が行き過ぎて使い方が逆になってる。
LLMの頭の中の時間は学習データ時点で凍結してて、基本的には外界と繋がっていない隔離された箱の中で暮らしている。
だからLLM以外のフロントエンド部分がRAG(外部からデータを取得して生成に利用する機能)の機能を提供するようになってきている。
LLMはRAGが無いと適当な嘘を真顔で返してくる。 puwaer/Doujinshi-1.8b-instruct
エロ同人からのデータセットでfinetuneしたモデルか
同じようにmistral largeに学習させてぇw
フルスペックmac買ったニキ頼む >>289
エロではないんやが、、まぁLLMに聞いてみるわ。
LLMとRAGの関係はわかった、ありがとう。
でもopen web ui でweb検索オプションかけて質問するとweb検索かけてるっぽいのに結果をまとめてくれないのはなんでなんやろ。リアルタイムの株価は自分にはわからんから株価は以下のリンク見てね、って返答なんよな。
検索したんならchat gpt みたいにそこ参照してくれよと思うがローカルllm のopen web ui だとそこまでできないとかなんだろうか。 だから細かい疑問点こそ普通にChatGPTなりに質問連打して説明してもらえよ RAGまわりは意味わからん話が多すぎるので自分はスパッと諦めたな
RAGそのもの興味があるならともかく検索させたいだけならMCP使えるクライアント経由でMCP Firecrawl&Docker firecrawlでやればええのでは >>291
公式見た感じ検索エンジン毎にAPIとかの設定必要っぽいけど
duckduckgoは設定要らないみたいだからとりあえずそれで試してみたら？ RAGは今ここで話されてるような用途に使うようなもんではないからすっぱり忘れてええぞ
embeddingモデルという普通のLLMとは違うモデルで事前にデータをベクター化しとかんとつかえん
社内の情報をLLMに答えさせるとかそういうことに効果を発揮するんや
一般人におけるRAGの利用は正直用途がちょっと思いつかん
情報の検索に関してはDeepResearchを手元で実現するアプリがちょいちょい出てきとるからそっちのがむいとるやろし
ロールプレイをしているチャットの履歴が長くなってきたらベクター化しといて取り出しやすくしとくとかそんなんかなぁ RAGはコンテキストの節約になるんじゃなかったっけ？ 節約が目的では無いんやが、節約されてると言えば言えるかな
ベクター化ってのは文字通り文字列をベクター化するってことなんやが、大体数バイトにするやでな
RAGがやってるのは
事前準備
1. 検索の対象にしたいデータを検索の単位にしたいサイズでぶつ切りにする(数百byteごととか、資料なら1ページごととか)
2. ぶつ切りにされたデータごとにベクター化(数バイト化)し、元の文章とベクター化したデータをセットで持っておく
RAG使用時(LLM使用時)
1. LLMに入力された質問をベクター化(数バイト化)する
2. 事前にベクター化したデータの中からベクトル(方向）が類似している文章を検索(単純に言えば数バイト化されてる中で数値が近いものを検索)
3. ベクトルが近い文章を数個(何個でもいいがLLMのtokens数上限に引っかからない範囲で)引っ張り出してきて、
LLMのプロンプトに「RAGでこの文章がヒットしたよ」と張り付けてLLMに読ませる
4. LLMがRAG検索結果を参照しつつ質問に回答 わかりやすくいうとRAGって、
文章の近似値の近い文章をDBからベクトル検索で出して、
それをプロンプトに参考資料として読めと添付するだけ。
難しいことなんて何もしてないし、
RAG関連の技術書なんてあまり読む価値はねえぞ。 会議の真ん中で、用意した資料から関係ありそうな部分を読み上げる秘書だな キャラのなりきり度を高めるならファインチューニングよな 初めてEasyNovelAssistantってやつをローカルで生成試してみて動いておおーって感心してるところなんだけど
最新はなんかトレンド違ったりする？ ベクトルストレージ活用して長期記憶をお手軽にオンにできる機能SillyTavernに実装されないかな
QdrantとかWeaviate、Milvusあたりをバックエンドにして。
キャラクターごとのチャット履歴をベクトルストレージに全部保存しといて「一ヶ月前のあの話題について〜」とかで話題を引っ張ってこれるような >>301
EasyNovelAssistantのバックエンドなkoboldcppが一番高機能じゃないの
LM Studioは簡単お手軽だけど、サンプラーを変えたりできない 入出力のテキストをスクリプトで加工したり、複数セッションを横断的に連携させたりしてみたい
いろいろフロントエンド触ってみたけど、これ自分で簡易なフロントエンド作るのが一番手っ取り早いのかしら？ characterhubでローカルエッチチャット用キャラとか探してみてるんだけど、これサイトに用意されてる初期データ（？）みたいなのが英語なので、
手元でデータ部分の翻訳頑張って日本語でどう喋るかとか書き換えたり、負けないくらいの日本語長文挨拶を投げたりしない限りはチャットの返事も英語になるよね？ >>303
これでいいのね、ありがとう
同人ゲーム作家なんだけど、1からエロ文章をビルドするの結構面倒で
AI生成で校正しながら生成すればちょっとは楽できるかなーって KoboldcppでiGPU生成とCPU生成を試してみたんだがどうもCPU 生成が一番速いように思われる
なんか間違ってるんだろうか、なんかもういいや 推論速度にはメモリ帯域が重要だからみんな帯域のあるgpuに乗せてるだけで、帯域の変わらんigpuを使う意味はそんなにない 画像生成だとiGPUはCPUより（は）充分速くて意味あるんだけどなー koboldcpp、早くgemma-3-27b-it-qatを読み込めるようになってほしい EasyNovelAssistantってSDみたいなガチャ方式っぽいけど最近のモデルだったらガチャやるより人間が指示出してディレクションしていった方がよくない？ KoboldCppをインストールしたけど、Qwen2.5-QwQ-37B-Eureka-Triple-Cubed-abliterated-uncensored-GGUF Q4_K_Sは
LM Studio（llama.cpp）とKoboldCppで全然生成が違うことがわかった
明らかにLM Studioの方が自然になる
Temperatureとかはモデル推奨値に合わせてるけど、他の設定の問題？
https://tadaup.jp/167806162.png 何も指定しないときのデフォルトの数値はエンジンによって違ったりするからそれかもね 生成量も両者で全体的に違うし何らかのオプションなんやろな
もし原因分かったらここに書いてほしいで llama4は2T(!?)と400Bと109Bらしい
わいの貧弱なPCじゃ何もできない
llama3が405Bから70Bになった前例があるから、ほんのり期待しとくで ベヒーモスヤバすぎるだろ
H100が何台必要になるんだ SamがGPUが溶けるって言ってるくらいだしここらで軽量化に舵を切るのかと思ってたが大規模化の夢は止まらねえってことか Gaslit-Transgression-24B これグラボ足りるならSillyTavernの設定ダウンロードするだけだし日本語もいけるから初心者向きかも ChatGPT4が出た当初パラメータ1兆(1000B)超えてるんじゃないかなんて言われとったが・・・
実際はあの生成速度と今見たら大したことないあの能力見たら全然1000Bなんて超えてないだろうなぁって感じやけど
まさかついにほんとに超えてるものが出るとは・・・
2Tアクティブパラメータだけでも288B ほげぇ
1.58bit量子化してmac studio 512GBで低tokenで動くかどうかってところやろかねぇ
まーしかし400Bのcontextが1M、109Bのcontextが10Mってなってるのがやべぇ
ローカルLLM界が新しい領域に飛び立ちそう 400bはChatbot Arena今見たら2位にランクインしとったわ
頑張ればローカルで動かせなくもない400bがgrok3とかgpt4.5より性能高いってのはやべぇ たぶんもうすぐ出るDeepSeek R2のほうが強いんじゃねえかな llama4も推論モデル出るらしいから
そっちが本番だろう mac proはマジでメモリ1.5T超えるかもしれんな
昔ヒカキンが買ったのが1.5Tで500万だっけ 109BのやつをH100を1枚で利用可能って言ってるから量子化モデルをmetaが出すつもりなんだろうか？
いまんところhuggingface見ても見当たらんけど 1.5tでも転送が遅けりゃトークン出力されるまで30分待たなきゃなるんのだろ？ llama-4-maverick-03-26-experimental、日本語だとDeepSeekV3.1より少し劣るぐらいな感じだな
DS V3.1はまともに使えるコンテクスト長がそんなに長くないから、Llama4の最大コンテクスト長10Mがほんとに有効に使えるならワンチャンあるかもしれない
改造・改良されやすいされづらいがあるから、どうかなという感じはするけど >>325
512Gのmacの再生動画見たけど爆速だったぞ？
どっから30分とかいう話が出てきたん？ ■ このスレッドは過去ログ倉庫に格納されています
