なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ >>33
600MAXなわけであって1200W使うかと言われれば多分そうじゃないから安心しとけ。
今までのマルチGPU環境とかデータセンターとかもそうだが無謀なことしない限りはカタログスペック上の消費電力なんてまぁ100パーでも出ることない。
この辺は車の燃費と一緒でちょっとかけ離れてる。ある程度ボーダーで書いておくのはいいことかもしれんが…(CPUは青天井) まぁいうてLLMでGPU100%使い切るかどうかはさておいて500W前後x2あたりだからかなりキツそうではある よそのやつを日本企業がチューニングしたパターンが1番精度良さそうなんやけどな 例えば4090ってPL60%にすると消費電力は270W前後まで下がる
そんで性能はというと6%程度しか下がらん
これはゲーミング性能の事だからLLMだともっと影響低いと思う
なので5090もPL60%にすれば多分400W以下で不自由無く使えるはず 7B以下で良いモデルが大量に出てこないかぎりローカルは盛り上がらんだろうなあ
そろそろLLMに食わせるデータが無くなるって話だし
効率化の研究が進むといいんだが 賢いままでもっとサイズを圧縮する技術や
ハードウェア側で大きなサイズを高速に動かす技術
この辺の進展に期待したい モデルのファイルが壊れる場合ってハードウェア要因以外である？
koboldでメモリが足りないってエラー出たんで、
ファイル落とし直したら直ったけど、MD5値調べたら一致してなかった >>22
https://imgur.com/a/hDs72MT
magnum v4 123b iQ3_Mの作例
Q6_Kならもっと精度あがるんだろな >> 43です
軽めのエロだったら拒否されなかったです。明日また試します >> 43,44です
deepseek api。エッチは普通にできた。温度を1.5くらいにすると良くなる
激しいのとか、表現力はまだわからない
頭の良さはgpt-4o並みとのこと >>38
アメリカからグラボ制裁されてる中国が少量の計算資源で効率的に推論する技術を発明するとか、bitnetやphi系モデル開発して小規模言語モデルに注力しるMicrosoftに期待したい deepseekも感じさせすぎるとcommand r的な言葉の連続になっちゃうな
まあ、しょうがないか cyberagentのMistral-Nemo-Japanese-Instruct使ってる人っている？
日本語RPのベンチ見てたらスコアくそ高かったんで感触いいならabliteratedしてファインチューニングしようと思うんだけれども Abliteratedって日本語モデルにも有効なんか？ またスクリプト湧き出したみたい
戻んないで良かったねｗ >>49
あの処理って、７０Bクラスのモデルだとどのくらいのメモリ必要なのかな？ >>53
モデルサイズ分のメモリがあればいけるよ
やってることは単純で、推論→拒否部分を特定→拒否部分を無効化して保存だから >>54
おー
と言うことは既存のデータセットに日本語でヤヴァイ指示入れまくったらさらに無力化出来るってことか それで効果あったら面白いな
どんな質問にもエロを見出す脳内ピンクモデルとか作れそう Mistral-Nemo使ってるよ。普通に賢いし、特に小説の一節を読ませて質問に答えさせるとかの長文読解をさせると、他のモデルと比べて格段に長い問題を読めるし良い感じに解ける
お手軽に使えるサイズのモデルだと今でもトップクラスだと思うよ。日本語トークンを学習してるのも嬉しい所 >>57
それは素のmistral-nemo？それともcyberagentが再学習したやつ？
もしcyberagentのなら素のnemoと比べて日本語能力やRP能力に差を感じるか教えてくれると助かる Mistral-Nemo-Japanese-Instruct-2408.Q8_0
Mistral-Nemo-Instruct-2407-Q8_0 (imatrix)
Mistral-Nemo-Instruct-2407-abliterated.i1-Q6_K (imatrix)
の３つ試してきた。
RPじゃなくて、1000文字程度の小説書かせただけだけど。
全部koboldのLegacyの値使ったけど、cyberagentが一番日本語能力低く感じたよ。
ストーリー展開と会話も他2つの方が好み。 アドバイスお願いします。
漫画のセリフを別キャラのセリフとして変換するのにオススメモデルはありますか？
rtx4090でメインメモリ64GBを使ってます。
現状はローカルでエロセリフはBerghof-NSFW-7B、
非エロのセリフはperplexltyを使ってます。 完全にオープンな約1,720億パラメータ（GPT-3級）の大規模言語モデル 「llm-jp-3-172b-instruct3」を一般公開
〜GPT-3.5を超える性能を達成〜
https://www.nii.ac.jp/news/release/2024/1224.html
これが先週のニュースだからな
国の金つかってこんなしょぼいLLM作ってるんだから日本は しかもフルスクラッチで始めて日本語ベンチでgpt3.5並て（笑）
下手糞すぎひん？ nicky氏のsuperswallowXをメモリ96G積んでるニキ、例の規制解除処理しておくれでやんす ちなAbliteratedは4bit推論も可能なんでメモリ弱者にも優しい仕様になってるで 大規模モデルは信じられないぐらい金かかるから簡単には出来ないとはいえ淋しい結果だな DeepSeekV3の普及速度えぐいわ
あっという間にSonnetとかレベルで利用されだしてる
https://i.imgur.com/tCVMetL.jpeg AIサービスはdeepseekv3一択になりつつある
高性能だし安い
LLMチャットサイトも大半が移行してる 安さがぶっちぎりなんだよな
価格で対抗できそうなのはawsのやつくらいか deepseekのベンチがいいのは分かったけど実際はどうなの？🤔 >>72
英語ならかなり良い
日本語は…？
翻訳して使おう >>72
AI realmってサイトでちょっとだけ使えるよ DeepSeekV3、OpenRouterを介してSillyTavernで試してみたけど
日本語もだいぶ話せると思うよ。多言語対応してるのは偉い(ふつうに申し訳されるけど)
3.5Sonnet超えてるかというとコーディング領域じゃ微妙だけど会話とかは結構イケてると思う
オープンウェイトだからローカルでも動かせる!(動かせるとは言ってない) DeepseekAPIは激安のcohereAPIより更に激安なのがいい
というかチャットだとcohereでも結構かかる モデルの規制解除試してるんだけど、parquetファイルを追加する手段ってなかなかないのね
どっかいいのないかな？ chatgptとかに.txtを読み込むようにして〜ってお願いすればやってくれるで DeepSeek V3をローカルで動かすならMacクラスターが良いらしい
Macはメモリは優秀だけどGPUがショボくて今までのLLMだと遅すぎて使い物にならなかった
でもDeepSeek V3のMoEモデルはそんなMac相性が良くてかなり高速に動くみたい
https://blog.exolabs.net/day-2/ >>65
.bitsandbytesがcpu量子化に対応してないから、メモリ64Gの環境では無理ですた
macメモリ増し増しのニキ頼むー
swallow v0.3 70Bが規制なくなればかなり良さげなんだわ >>79
4bit量子化とはいえ、671Bとはすごいね
しかも5.37token/sもでるのはMoEモデルならではとな
その構成のM4 pro 8台なら270万円〜 ww
でも研究者用にはよさそうだ
Apple のAIサーバーはM2 Ultraを並べてて色々欠点をあぶり出していて
その結果M5からGPUがAI向けにチューニングされているという噂
でもM4 maxがでたら我慢できないかも >>81
270万円は高くはあるけどNvidiaでこのメモリサイズ揃えるよりは圧倒的に安いんだよな >>58
ごめんよく読んでなかった、素のmistral-nemoの方だわ
オリキャラ数人とパラメータいじりつつ会話してみたけど、cyberagent版の方が言葉遣いとかは自然だけどRPの演じ分けはあまり上手くない気がする
素の方は設定に忠実な、悪く言えば設定をなぞっただけの、翻訳文みたいな味気ない会話文を出すことがしばしばあるけど、総合的なPR能力はまあまあある方だと思う
cyberagentの方は会話の表現力自体は高いんだけど、どうにもチャットAIの回答に味付けしてくれるって感じで、特に無口系のキャラとかチャットAIと方向性が違う性格になると途端に忠実さが下がる
キャラなりきりチャットで遊ぶなら、多少表現が固くても素の方を選ぶかな
あと長文読解に関しては、素の方が圧勝だわ。まあこれに関してはほとんどの人は興味ないだろうけど……書きかけのテキストまとめる用途とかに便利なんだよ
素のmistral-nemo Q8_0だと、4.5万トークン(4bit/8bitキャッシュでVRAM16GB)くらいの小説を読ませて質問してもまともに説明できるし、説得力のある解説や解釈を入れてくれる
Q4_K_Mで8.5万トークンの小説読ませた時も日本語としてギリギリ成立するくらいの文章が出せたから、Q8とかFP16ならちゃんと応えられそうな気がする
cyberagent版やmagnum、phi-4とかのモデルだと3万トークン以下でも日本語として全く成立しないくらいに破綻するから、やっぱり素のmistral-nemoは総合的なポテンシャルがかなり高いと思う >>83
はえ〜勉強になるわ
ワイEasyNovelAssistantをちらっと触っただけなんやけど
小説を読ませて質問、てどういう風にやるんやろか？
イラストスレでも前スレ食わせてまとめさせとるニキおるし
めちゃロマン感じるんや
青空文庫から江戸川乱歩や吉川英治読ませて明智探偵や曹操丞相と会話したいんコ゚ あと「そちら荊州借りパクしてますよね？」と魯粛先生の代わりに孔明を説い正したい
でも本気で罵倒してきたら王朗みたいに血ぃ吐いて憤死するかもしれんけど
楽しみでしょうがないんや 2024年は大変お世話になりました。
ENA初心者いるっぽいんで、役立ちそうなこと書いときます。
・huggingfaceからDLしたgguf使いたい！
ggufが保存されているフォルダ（自分の環境だとKoboldCpp）に入れて、
ファイル名をVecteus-v1-IQ4_XS等、ENAからＤＬできるファイル名に置き換えると使えます。
jsonファイルを書き換える方法もあるっぽいけど、この方法で困ったことないです。
・localhostにアクセスしてKoboldAI Liteを使おう！
モデル読み込んだら一番下にURL出てくるはず。
ENAだと温度しか設定変更できないが、こっちだと色々なSamplersが変更可。
（コンテキストサイズはENAからのみ変更可）。
Sampler Presetの下部にあるLegacy設定がおすすめ。
XTC、DRY、Min-pを変更するのが最近の主流らしい。
まだ使いこなせてないので、良い値あったら教えてください・・・ >>59,83
わざわざ検証サンクス
やっぱり元々日本語喋れるモデルに日本語チューニングしてもあんま意味ないんやろな
>>84
EasyNovelAssistant使ってるならkoboldcppってのが入ってるはずだからそれを立ち上げてcontext sizeをデカく&tokensタブからkvキャッシュの量子化をしてコンテキスト長が長いモデル(mistral-nemoとか)を起動
そしてlocalhost:5001に行けばGUIが立ち上がるからそこに長文ぶち込んで質問すればええよ >>84
Oobabooga / Text generation web UI 使ってる。>>87ニキの通りEasyNovelAssistantでもできるはず
Mistral-NemoのQ8版をダウンロードしてきて、フォルダごとmodelフォルダに入れて、Web-uiのModelタブで設定を調整してロードすればOK
n_ctxの値が消費VRAM量に直結するから、そこはVRAMに合わせて調整してもろて。16GBなら4.5万トークンまではVRAMに乗り切ると思う
https://i.imgur.com/G0YjNQF.jpeg
ロードできたらDefaultタブか、NotebookタブのRawを開いて、こんな感じのプロンプトの中に小説や文章を貼り付けてGenerateすれば読解してもらえる
https://pastebin.com/UJE6muvi
プロンプトは以前やっつけで作ったヤツだから、適宜直してな
後は好きに質問したり、要約させたり、「（登場人物）は、こういう時にどう思いますか？」って聞いたり、「（シチュエーション）の台詞を考えて書きなさい」って指示すればいい
長文やってる人は少ないから、何か面白い会話とか出たら共有してくれると嬉しいで >>87>86>88
丁寧にサンガツやで！
EasyNovelAssistantの最大文字数？くらいしかいじったことないんやけど
全然足りとらんかったのね……画像までありがとう、やってみるで
LLMうまい人は質問の仕方や出力フォーマット指定も上手なんやろな
ワイは電子書籍化したpdfとか山とあるんやが、歴史系の専門書はまだ裁断しとらんのや
検索性は紙媒体が優れてるけど部屋にはもう置けんし、AIが司書さんになってくれたら
本処分して引っ越しも楽になるし
LLMの進化は楽しみなんや 86だけど、ちゃんと調べたらDRYとXTCの考案者pew氏がおすすめの値公開してた・・・
https://github.com/oobabooga/text-generation-webui/pull/5677
https://github.com/oobabooga/text-generation-webui/pull/6335
Min-p:0.02、rep_penなし、DRY（mult:0.8、base:1.75、A_len:2）、XTC(threshold:0.1、probability:0.5)
らしい。 まじかこれ
https://x.com/koltregaskes/status/1874535044334969104
- Claude 3.5 Sonnet (2024-10-22) = ≈175B
- ChatGPT = ≈175B
- GPT-4 = ≈1.76T
- GPT-4o (2024-05-13) = ≈200B
- GPT-4o-mini (2024-05-13) = ≈8B
- o1-mini (2024-09-12) = ≈100B
- o1-preview (2024-09-12) = ≈300B GPT-4 = 8x220B = 1.76T のMoEなのか
4oのマルチモーダルは精度えぐいからまぁええけどLLM性能だけ見たらなんか劣化してそうだな 実際に4oは最初なんだこりゃってなったからな
コーディング向けというか、とにかく事務的で人と話してる感が4よりも遥かに劣っていた
今もそうだけど ローカルLLMとパラ数が大差ないことが驚き
下手したら個人のPCでもGPT-4oが動かせそう 推定値ってはっきり画像に書いてあるんで鵜呑みにしない方がいいよ
さすがに4o-miniが8bは賢すぎる 8BぐらいならモデルをうっかりHuggingfaceにリークしてほしい
いつも情報をうっかりリークするOpenAIさん この人のツイートを見る限り、小型モデルをトレーニングしていくのではなく
巨大モデルを作成してから何らかの軽量化して小型モデルを作ってるのかな
https://x.com/shanegJP/status/1866893458247651518 巨大モデル作成→枝刈りが軽量モデルの訓練最適解だとすればローカルLLM界隈は厳しい状況にある気がする
大規模なグラボがないと軽量かつ高性能なモデルが作れない 7Bモデルまで軽量化する時にオホ声やメスガキの枝を大事に残してるとか草 なのに最初から小さいモデルを作る日本メーカーさんて😅 確かに文字の出てくる速度からして相当パラメータ数少なそうだなとは思ってたけど
もし本当に8bなのだとするとローカル界にもかなり希望があるってことにはなるなぁ 言ってることが正しくても投資家の文字が出てくると胡散臭さが5割増に見える不思議 macってメモリをGPUにシフトできるけど、koboldとかで使う場合GPUレイヤーに載せた方が速いの？
同じユニファイドメモリなんだからcpuモードでも同じと思ってたけど違うんかな？ >>91
信じられないな
4o-miniがローカルで動かせるとは思えん >>104
CPUモードだと演算をCPUでやるのでは？ 理論的にはエロ性能に特化した4o-miniをローカルで動かすことも不可能ではない
誰か頭が良くてエロい人頼んだ >>104
CPUとGPUではアクセスの粒度がぜんぜん違うので
MMUに対して領域を指定してその部分DRAMバンクのアクセス方法が切り替わる
(画面表示の時の読み出し割り込みが定期的にかかるから違うバンクのほうが予測率あがる)
さらにM3以降はそこの改良が進んでてダイナミックキャッシュの圧縮もしている
どうやって圧縮しているかはみつからんかった。最大2倍という広告は見たけど wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど cohereのaya exp 8bはしゃべり方とかだいぶ4o-mini的かも
ただもとが優等生的なキャラなのでエロいのが好きな人は物足りないかも 尻タブだと問題ない
koboldだとぶっ壊れる
chat modeがダメなのか？ アダルトなフォルダ群と、それに対応するサムネ画像群があります。両者のファイル名は表記揺れが多かったり、無駄に日付やバージョンが追記されていたりします。サムネ画像群をlsして200行ごとにA〜Kへと分けています。
AIに対して一つのフォルダ名とサムネ画像群ファイル名リストAを渡し対応しそうな名前を返してもらう、という処理をローカルで行いたいです。
powershellとkoboldcppでこういった処理は実現できそうでしょうか? LLMとしりとりするの難しいな……GPTでも上手くいかないことがあるぞ >>113
フォルダ名から画像ファイル名探すだけならkoboldにファイル名リストぶち込んで質問でもいいんじゃね
ちゃんとやるならベクトルDB構築することになるけど
>>114
トークン化されてるからね
strawberry問題と同じよ >>115
GPTだとちゃんと語尾を取ってくれるんだけど
「ん」で終わってしまったときの仕切り直しでおかしくなるんだよね
AI：「メロン」！
俺：「ン」で終わったらダメだよ！
AI：あ、すみません！「メロン」の「ン」ですね。じゃあ、「ノート」！
みたいな感じで
アホなLLMはそもそも全くしりとりが成立しない aya
cohereのとこだし似たようなもんだろって思ってたけどCR+よりは賢い気がする
ただ、軽めのマグナムが現状やっぱ最強
重いのも一応動くけどおっっそいし、俺調教モノがしたいからレスポンス早いの大事なんよなぁ たしかに並のLLMだとしりとりダメだったわ面白い
QwenとかCohereとかだと単に似てる単語を返したりしてくる
4oとかClaudeレベルじゃないとルール理解してくれんかった 尻タブでAPIからDeepSeek試してみたけど、いまいちだな…
同じような繰り返しばかりだし、LLMにありがちな明るい未来病をにおわせるフレーズが多くて響かん
設定煮詰めたらましになるのか？ ワイもSillyTavernでDeepSeekV3試したけど
同じ語句くりかえしたり出力途中で途切れたり長い文章の出力途中で違う言語になったり
みたいな挙動は確認した 俺もdeepseekのapi呼び出しで全く同じ症状出てるわ
繰り返しと文章の破綻
とてもじゃないけどこれがclaude越えはない
apiクレジット多めに買っちまったよちくしょう ayaは32bのモデルもあって、それを蒸留したのが8bだと思う >>apiクレジット多めに買っちまったよちくしょう
(´・ω・`)人(´・ω・`)ﾅｶｰﾏ 文章出力変のはトークナイザーやらテンプレートの設定を間違ってるからだろ そういう設定ってどこかにまとまってたりすんのかな
というかどう詰めていけばいいのか謎 Magnumの派生で色々試してたら気に入ったモデル見つけたわ >>126
そこらへんの情報ググっても全然出てこないよな
chatGPTに頼んでもまともな答えが返ってこないし
何がどう間違ってるのか確かめる方法と基準が分からん reddit以外だとDiscordとかになるんかね
Googleはオワコンだし、LLMの知識はそこの情報食ってウンコ出してるようなものだからもっと使えん ローカルがパワー不足(12GB)だから月課金のサービス使ってMagnum72B動かしたけど、当然ながら12Bより理解度高い上にキチンと下品な対応をしてくれるね…… mradermacher/Writer-Large-2411-v2.1-i1-GGUF
期待してたこれようやくimatrix量子化してくれて感謝
小説特化のせいか評価問題は指示がうまく入らなかったけど、なんか知らんが隠語表現がぶっ飛んでたわw >月課金のサービス
LLM用途だと、どこがお勧め？ ■ このスレッドは過去ログ倉庫に格納されています
