なんJLLM部 避難所 ★3
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ 93c0-oLG6)2024/06/09(日) 07:37:14.82ID:???0
!extend::vvvvv:1000:512
!extend::vvvvv:1000:512
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★2
https://mercury.bbspink.com/test/read.cgi/onatech/1714642045/

-
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured
0532名無しさん＠ピンキー (ﾜｯﾁｮｲ e387-aXFj)2024/07/19(金) 17:11:28.37ID:SnWdQ7Z20
Mistral NeMoってのが出たけどどんな感じだろ
0533名無しさん＠ピンキー (ﾜｯﾁｮｲ 6a0c-urh9)2024/07/19(金) 18:16:14.54ID:T7ONqz8t0
Mistral-Nemo試したいんだけどkoboldでもollamaでも動かないんだよなあ
0535名無しさん＠ピンキー (ﾜｯﾁｮｲ 6b32-Ru/f)2024/07/19(金) 23:11:39.31ID:???0
pfnet/Llama3-Preferred-MedSwallow-70B

llama3 swallowに、医学知識学習させたモデルで、あまり期待してなかったけど、
なんか、いいぞこれ
llama3ともswallowとも違う　普通にエロいｗ（脱獄不要）
文字欠け等の気になる点はあるけど、（量子化のせいか？）なんか、ベクトルが違うんだわ

まあ、最近のllama3-swallowにがっかりした分、よけいに出来が良く見えるんだが・・・
mmnga氏が量子化出してくれてるから、すぐ試せるで。ワイはQ5K_Mで試した。
0536名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-G/Qc)2024/07/20(土) 08:51:19.45ID:???0
いい加減VRAM64GBくらい積んだGPUどっか出してくれないとなぁ
AMDはどうせ業務用作ってないんだからNvidiaに嫌がらせする意味でもそういうの出してくれよ
0537名無しさん＠ピンキー (ﾜｯﾁｮｲ bb5a-XX+G)2024/07/20(土) 11:46:43.78ID:???0
AIバブル弾けない限り無理
一応AMDは次世代APUはLPDDRXを内蔵多チャネル接続して広帯域にしたやつを
64だか128ぐらいまでは積むよみたいな事言ってる
0538名無しさん＠ピンキー (ﾜｯﾁｮｲ 2b76-Ydgy)2024/07/20(土) 11:48:56.81ID:a9PC+EpH0
AMDはソフトウェア周りがNVIDIAと比べて弱すぎて話にならん
0539名無しさん＠ピンキー (ﾜｯﾁｮｲ bb5a-XX+G)2024/07/20(土) 11:52:55.96ID:???0
rocmがやる気なさすぎてnvidiaが独禁扱いされないように公開するやつのおこぼれ食ったりとか
ライセンス違反上等の暗黒パワーのZLUDA使う現状が情けない
0541名無しさん＠ピンキー (ﾜｯﾁｮｲ 2b6f-VXyX)2024/07/20(土) 13:44:52.12ID:???0
VRAM後載せは期待しない方がいい
高速なメモリほど後載せできないから、後載せできるシステムは帯域が狭くなる
推論は帯域が大事なので遅いメモリを後載せできても嬉しくない
0542名無しさん＠ピンキー (ﾜｯﾁｮｲ 2be5-3SVq)2024/07/20(土) 16:16:00.68ID:???0
うえの方でだれか言ってた普通の時は普通の会話で、突然エロくなってまた普通に戻るみたいなの、
cohereのcommand-r-plusで普通にできるけど、もう解決ずみかな
プロンプトにほんの少しだけエロの設定が必要だけど
0548名無しさん＠ピンキー (JP 0Hdf-3SVq)2024/07/20(土) 20:11:55.17ID:Wfa8J/rBH
5090でcommand-r-plus乗せられるようになるだろか(´･ω･｀)
0551名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b3d-TapC)2024/07/20(土) 22:33:20.41ID:TXaeG/Gy0
日本人が多く使ってるのかな？
高レベルのエロ文章目当ての変態が多そうだが
そういや日本語特化モデルのカラクリての最近知ったけどお試し使用できる場所ないから性能謎だな
0552名無しさん＠ピンキー (ﾜｯﾁｮｲ 2be5-3SVq)2024/07/20(土) 22:42:49.76ID:???0
542だけどapiの話ね。語弊があったようですみません
ちなみに何か月か前に登録してからまだトライアルのままだな（最初に5ドル分くらいもらえる）
結構、使ったのに。
0557名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b7c-fado)2024/07/21(日) 02:17:50.83ID:n5P3y1pp0
>>548
ローカルで動作させる事の有無はおいといて、command-R+は実質mac一択
PCだとバス幅(PC64bit。mac512bit)やアクセスチャンネル数(2-4ch、mac 8ch)が
少なすぎるし改善の見込みもない(ATXとDDRじゃ無理)
AppleはMにした時ここに大幅に手をいれた
その代わりRAMの交換とかできなくなった
ただこれはインテル時代もそうだったからユーザーは慣れてるのかも
0558名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b63-G/Qc)2024/07/21(日) 05:54:03.04ID:nICSglqJ0
不健全な用途です！！！
0561名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b8b-V2rD)2024/07/21(日) 11:23:53.79ID:yxK3IHYk0
>>548
5090を1枚買う価格(40万？)で
4060Tiか3090の中古を複数枚揃えたらいける
0567名無しさん＠ピンキー (ﾜｯﾁｮｲ bba0-TapC)2024/07/21(日) 16:58:08.56ID:9WdbabI50
>>566
スゲー　遅くても動かせてるのがすごい
0569名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b86-40Y5)2024/07/21(日) 17:52:16.47ID:BtuxjxIZ0
昨日初めて導入したけどまだAIのべりすとより使いこなせへんわ
Uのスレがちょうど消えとって探すの苦労したわ
0573名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b58-fado)2024/07/22(月) 14:15:08.37ID:/3lGviXt0
HBMはDDRの5〜20倍くらい転送速度が稼げる
LLMはとにかくメモリーの速度を要求する
mac(max以上)はDDRであってもコントローラー2倍積んでる特別仕様
ただHBMは物理的にローハンマー攻撃に弱いので実行用のメモリーとして使いづらい
マルチCPUでLLM動作させるとCPUが割と暇になってしまう
これはメモリーの出し入れ待ちな為
0575名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f74-1Aj4)2024/07/22(月) 20:08:28.50ID:???0
普通にGDDRでいいから48GBの4090とかでてくれたらねぇ・・・
4090にモデル収まれば20token/sとか出るし
実用上10token/sも出れば目で追えないくらい早いだろうから性能的にはもう十分なんだよな

まぁそれが6000Adaですって話なんかも知らんけど
なお値段
0577名無しさん＠ピンキー (ﾜｯﾁｮｲ dfc5-G/Qc)2024/07/22(月) 23:13:55.05ID:LhChVRuW0
llama.cppがMistral-Nemoに対応したからちょっと使ってみたけど表現規制とかはなさそうだね
というかちょっと口説いたら銃の作り方も教えてくれるから論理観ガバガバかも？
0580名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-G/Qc)2024/07/23(火) 13:50:24.56ID:???0
Claude3.5 sonnetって70Bであの性能なんだよな
そのうちローカル実行可能なモデルがsonnetの性能に追い付き追い越すようになったら
小説の世界でも人間は駆逐されるね
0581名無しさん＠ピンキー (ﾜｯﾁｮｲ abf8-32+k)2024/07/23(火) 14:12:27.94ID:B0KOMJMy0
ローカルである必要は？
0586名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f30-XTc+)2024/07/23(火) 15:49:08.64ID:hb4CmLgU0
3.5 sonnetが70Bってどこ情報なん
0587名無しさん＠ピンキー (ﾜｯﾁｮｲ 0f8e-srET)2024/07/23(火) 16:23:33.85ID:???0
APIはむしろ安くないか
ビジネス用途ならGPT-4oとか安すぎるくらいだ
ローカル使いたいのは検閲とかされたくないしNSFWなんでもアリなチャットしたいってのが大きい
0589名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b54-35Um)2024/07/23(火) 17:42:33.69ID:???0
少なくとも日本の法律じゃエロ文章で逮捕されることはない
たとえそれがペドロリでも(文章には児ポ判定無し)
できることはせいぜいBANくらいだけど、openaiもanthroも返金されるので、banされたところで特に痛くもない
犯罪系や自殺系は知らんが
0590名無しさん＠ピンキー (ﾜｯﾁｮｲ 0bc0-s/UN)2024/07/23(火) 19:59:50.18ID:???0
ChatGPTで〜のスレとか見てるとようあんな性癖全部盛りのプロンプトを検閲されたり学習されたり可能性あるよそさまのサーバーにしこたま送りつけるよなと思ってしまうわ
ある意味男気あふれてて感心する
0593名無しさん＠ピンキー (ﾜｯﾁｮｲ bb87-3SVq)2024/07/23(火) 22:18:16.97ID:WTarfT0L0
Mistral-Nemo-InstructをQ4_K_Mに量子化してみたけどけっこう賢くて良い感じだわ
Q4だしさすがに精度は低いけど、3万字くらいの長文読ませても壊れないでちゃんと返答してくれるし
そこからキャラなりきりもできるのはほんと進歩を感じる
0594名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f1e-G/Qc)2024/07/24(水) 00:45:09.02ID:v0jtOIDf0
赤ちゃん質問で申し訳ない
SillyTavernでclaude3 APIに接続する方法ってどこかに載っとる？
調べても英語ばっかりだし翻訳してもよくわからん
0596名無しさん＠ピンキー (ﾜｯﾁｮｲ 6f69-G/Qc)2024/07/24(水) 02:31:24.98ID:89UGJXd20
APIキー既に取得済みって前提になるが
https://imgur.com/a/QsCkPSG
この一番上のAPIでChat Compilation選ぶとChat Compilation SourceからClaude選べんか？
あかんか？
0598名無しさん＠ピンキー (ﾜｯﾁｮｲ 1bbe-G/Qc)2024/07/24(水) 05:55:27.51ID:???0
>>597
poeとかはわざと緩くしてるだけだよ
サービス元によって同じモデルでも明らかに申し訳される度合いが違う
そもそも入力そのものをAIでチェック出来るから本気で検閲されたら全部アウトになる
0603名無しさん＠ピンキー (ﾜｯﾁｮｲ 8bc7-3QTr)2024/07/24(水) 06:59:12.86ID:???0
RAGも大葉のLoraも
なりきりでやって欲しいキャラのセリフと設定入れたら（セリフ集にユーザーとのやり取りも入れてる）
どのモデルも何故かユーザー役になりきるんだが
オススメの知識の入れ方ってある？
0604名無しさん＠ピンキー (ﾜｯﾁｮｲ 0fdc-V2rD)2024/07/24(水) 08:45:43.79ID:???0
llama3.1がgroqで触れるので70b版を触って来たけど最低限日本語っぽいものが返ってくるレベルやな　
脱獄プロンプト入れればエロプロンプトも通るけど誤字や簡体字混じりの文章でなにかのトリガーで同じフレーズを繰り返し始めるしなかなか厳しい
command r+くらいの性能はあると期待してたけど設定が悪いんかな
0605名無しさん＠ピンキー (ﾜｯﾁｮｲ 1f5e-G/Qc)2024/07/24(水) 10:04:08.93ID:VZ5aVPvs0
>>603
尻タブなら>>153周辺参考にしてもらえればなんやけど、大葉ってcustom stopping strings的な機能あったかわからん
あると思うが名称違うかもしれん
0608名無しさん＠ピンキー (ﾜｯﾁｮｲ 5fb3-x6+9)2024/07/24(水) 10:24:30.47ID:???0
perplexityで405B使えるけど、控えめに言ってゴミ
指示を理解してない上にそれを差し引いても表現ができてない
出力の質はGPT4oどころかGPT3.5にも劣る
0618名無しさん＠ピンキー (ﾜｯﾁｮｲ 9b32-srET)2024/07/24(水) 12:21:43.72ID:???0
>>608
しかも3より規制きついな
日本語能力は対象外になってるのでまあ、御察し
ただ、推論力は高い
英語での質問に生徒会恋愛問題を完全とは言わないが正解に近づいけていた
日本語での質問はダメだったがｗ
0620名無しさん＠ピンキー (ﾜｯﾁｮｲ dffb-3SVq)2024/07/24(水) 12:51:22.01ID:???0
生徒会恋愛問題とは一体・・・・うごごっ

誰かマルチモーダル試している人居ないか？
画像を読み込ませて解析させるChatGPTとかでお馴染みの機能
大葉は拡張設定が面倒でkoboldcppで試したけど上手く行かん

画像生成のCILPに該当するllava mmprojのモデルに汎用性が無い？
ninjaやエロLLMで使おうとしたら壊れた文章しか出さなかった
llavaとセットのllmで動かしたら低性能だけど一応は動いた
0622名無しさん＠ピンキー (ﾜｯﾁｮｲ 5f74-1Aj4)2024/07/24(水) 14:40:38.30ID:???0
そもそも3.0からどれくらい性能アップしとるんやろな

3.0 70bはgemma2 27bよりも英語では性能低いから
3.1 70bが多少性能上がったところで日本語特化モデル作るならgemma2 27bと思うんやな
0627名無しさん＠ピンキー (ﾜｯﾁｮｲ 4b09-PUYf)2024/07/24(水) 20:40:38.12ID:???0
現状ローカル寄りというのは正しいけど、それはwebサービスで満足できない奴がより深い所に辿り着く結果ローカルの話になっているだけだと思う。
webサービスにより良いもの、新しいものが出現したら話題がそっちに流れる事はありうる。(405Bの話の様に)
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況