なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
0001名無しさん＠ピンキー2024/12/26(木) 13:13:11.15ID:Vhp+tTX0
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/
0089名無しさん＠ピンキー2025/01/02(木) 02:16:53.93ID:???
>>87>86>88
丁寧にサンガツやで！
EasyNovelAssistantの最大文字数？くらいしかいじったことないんやけど
全然足りとらんかったのね……画像までありがとう、やってみるで

LLMうまい人は質問の仕方や出力フォーマット指定も上手なんやろな
ワイは電子書籍化したpdfとか山とあるんやが、歴史系の専門書はまだ裁断しとらんのや
検索性は紙媒体が優れてるけど部屋にはもう置けんし、AIが司書さんになってくれたら
本処分して引っ越しも楽になるし
LLMの進化は楽しみなんや
0092名無しさん＠ピンキー2025/01/02(木) 10:38:52.94ID:UaaINJ/a
GPT-4 = 8x220B = 1.76T のMoEなのか
4oのマルチモーダルは精度えぐいからまぁええけどLLM性能だけ見たらなんか劣化してそうだな
0093名無しさん＠ピンキー2025/01/02(木) 10:40:45.45ID:???
実際に4oは最初なんだこりゃってなったからな
コーディング向けというか、とにかく事務的で人と話してる感が4よりも遥かに劣っていた
今もそうだけど
0094名無しさん＠ピンキー2025/01/02(木) 11:12:56.29ID:???
ローカルLLMとパラ数が大差ないことが驚き
下手したら個人のPCでもGPT-4oが動かせそう
0095名無しさん＠ピンキー2025/01/02(木) 11:47:39.71ID:???
推定値ってはっきり画像に書いてあるんで鵜呑みにしない方がいいよ
さすがに4o-miniが8bは賢すぎる
0097名無しさん＠ピンキー2025/01/02(木) 12:55:45.88ID:???
8BぐらいならモデルをうっかりHuggingfaceにリークしてほしい
いつも情報をうっかりリークするOpenAIさん
0099名無しさん＠ピンキー2025/01/02(木) 13:06:20.22ID:???
巨大モデル作成→枝刈りが軽量モデルの訓練最適解だとすればローカルLLM界隈は厳しい状況にある気がする
大規模なグラボがないと軽量かつ高性能なモデルが作れない
0100名無しさん＠ピンキー2025/01/02(木) 13:12:14.62ID:???
7Bモデルまで軽量化する時にオホ声やメスガキの枝を大事に残してるとか草
0102名無しさん＠ピンキー2025/01/02(木) 14:22:31.43ID:???
確かに文字の出てくる速度からして相当パラメータ数少なそうだなとは思ってたけど
もし本当に8bなのだとするとローカル界にもかなり希望があるってことにはなるなぁ
0103名無しさん＠ピンキー2025/01/02(木) 14:33:27.02ID:???
言ってることが正しくても投資家の文字が出てくると胡散臭さが5割増に見える不思議
0104名無しさん＠ピンキー2025/01/02(木) 16:14:44.46ID:???
macってメモリをGPUにシフトできるけど、koboldとかで使う場合GPUレイヤーに載せた方が速いの？
同じユニファイドメモリなんだからcpuモードでも同じと思ってたけど違うんかな？
0107名無しさん＠ピンキー2025/01/02(木) 21:35:48.93ID:???
理論的にはエロ性能に特化した4o-miniをローカルで動かすことも不可能ではない
誰か頭が良くてエロい人頼んだ
0108名無しさん＠ピンキー2025/01/03(金) 08:18:17.15ID:???
>>104
CPUとGPUではアクセスの粒度がぜんぜん違うので
MMUに対して領域を指定してその部分DRAMバンクのアクセス方法が切り替わる
(画面表示の時の読み出し割り込みが定期的にかかるから違うバンクのほうが予測率あがる)
さらにM3以降はそこの改良が進んでてダイナミックキャッシュの圧縮もしている
どうやって圧縮しているかはみつからんかった。最大2倍という広告は見たけど
0109名無しさん＠ピンキー2025/01/03(金) 09:07:49.01ID:n0X7VVCV
wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど
0110名無しさん＠ピンキー2025/01/03(金) 09:07:49.55ID:n0X7VVCV
wabisabiで4000超えたあたりから文章がぶっ壊れるな
context sizeは8192にしてるんだけど
0111名無しさん＠ピンキー2025/01/03(金) 09:11:19.75ID:???
cohereのaya exp 8bはしゃべり方とかだいぶ4o-mini的かも
ただもとが優等生的なキャラなのでエロいのが好きな人は物足りないかも
0112名無しさん＠ピンキー2025/01/03(金) 09:15:42.26ID:n0X7VVCV
尻タブだと問題ない
koboldだとぶっ壊れる
chat modeがダメなのか？
0113名無しさん＠ピンキー2025/01/03(金) 14:27:41.47ID:???
アダルトなフォルダ群と、それに対応するサムネ画像群があります。両者のファイル名は表記揺れが多かったり、無駄に日付やバージョンが追記されていたりします。サムネ画像群をlsして200行ごとにA〜Kへと分けています。

AIに対して一つのフォルダ名とサムネ画像群ファイル名リストAを渡し対応しそうな名前を返してもらう、という処理をローカルで行いたいです。

powershellとkoboldcppでこういった処理は実現できそうでしょうか?
0114名無しさん＠ピンキー2025/01/03(金) 15:03:16.85ID:n0X7VVCV
LLMとしりとりするの難しいな……GPTでも上手くいかないことがあるぞ
0115名無しさん＠ピンキー2025/01/03(金) 15:08:09.90ID:???
>>113
フォルダ名から画像ファイル名探すだけならkoboldにファイル名リストぶち込んで質問でもいいんじゃね
ちゃんとやるならベクトルDB構築することになるけど
>>114
トークン化されてるからね
strawberry問題と同じよ
0116名無しさん＠ピンキー2025/01/03(金) 15:21:13.72ID:n0X7VVCV
>>115
GPTだとちゃんと語尾を取ってくれるんだけど
「ん」で終わってしまったときの仕切り直しでおかしくなるんだよね

AI：「メロン」！
俺：「ン」で終わったらダメだよ！
AI：あ、すみません！「メロン」の「ン」ですね。じゃあ、「ノート」！

みたいな感じで
アホなLLMはそもそも全くしりとりが成立しない
0117名無しさん＠ピンキー2025/01/03(金) 16:00:47.92ID:???
aya
cohereのとこだし似たようなもんだろって思ってたけどCR+よりは賢い気がする

ただ、軽めのマグナムが現状やっぱ最強
重いのも一応動くけどおっっそいし、俺調教モノがしたいからレスポンス早いの大事なんよなぁ
0119名無しさん＠ピンキー2025/01/03(金) 18:28:30.76ID:dXFWaIdU
たしかに並のLLMだとしりとりダメだったわ面白い
QwenとかCohereとかだと単に似てる単語を返したりしてくる
4oとかClaudeレベルじゃないとルール理解してくれんかった
0120名無しさん＠ピンキー2025/01/03(金) 23:55:50.93ID:W3BUnxUQ
尻タブでAPIからDeepSeek試してみたけど、いまいちだな…
同じような繰り返しばかりだし、LLMにありがちな明るい未来病をにおわせるフレーズが多くて響かん
設定煮詰めたらましになるのか？
0121名無しさん＠ピンキー2025/01/04(土) 14:48:54.56ID:M2WOJj40
ワイもSillyTavernでDeepSeekV3試したけど
同じ語句くりかえしたり出力途中で途切れたり長い文章の出力途中で違う言語になったり
みたいな挙動は確認した
0122名無しさん＠ピンキー2025/01/04(土) 21:19:09.29ID:???
俺もdeepseekのapi呼び出しで全く同じ症状出てるわ
繰り返しと文章の破綻
とてもじゃないけどこれがclaude越えはない
apiクレジット多めに買っちまったよちくしょう
0124名無しさん＠ピンキー2025/01/04(土) 21:38:17.17ID:Cts7xg66
>>apiクレジット多めに買っちまったよちくしょう
(´・ω・`)人(´・ω・`)ﾅｶｰﾏ
0125名無しさん＠ピンキー2025/01/04(土) 22:00:55.69ID:???
文章出力変のはトークナイザーやらテンプレートの設定を間違ってるからだろ
0126名無しさん＠ピンキー2025/01/04(土) 22:50:00.83ID:???
そういう設定ってどこかにまとまってたりすんのかな
というかどう詰めていけばいいのか謎
0128名無しさん＠ピンキー2025/01/05(日) 04:16:34.25ID:m82up0/D
>>126
そこらへんの情報ググっても全然出てこないよな
chatGPTに頼んでもまともな答えが返ってこないし
何がどう間違ってるのか確かめる方法と基準が分からん
0130名無しさん＠ピンキー2025/01/05(日) 10:53:29.86ID:???
reddit以外だとDiscordとかになるんかね
Googleはオワコンだし、LLMの知識はそこの情報食ってウンコ出してるようなものだからもっと使えん
0131名無しさん＠ピンキー2025/01/05(日) 12:05:27.52ID:???
ローカルがパワー不足(12GB)だから月課金のサービス使ってMagnum72B動かしたけど、当然ながら12Bより理解度高い上にキチンと下品な対応をしてくれるね……
0132名無しさん＠ピンキー2025/01/05(日) 12:10:02.60ID:???
mradermacher/Writer-Large-2411-v2.1-i1-GGUF
期待してたこれようやくimatrix量子化してくれて感謝
小説特化のせいか評価問題は指示がうまく入らなかったけど、なんか知らんが隠語表現がぶっ飛んでたわw
0136名無しさん＠ピンキー2025/01/05(日) 15:13:10.57ID:???
>133
infermatic.ai、arliai、groq、together.aiなどなどあるけど、自分はinfermatic.ai使ってる
使用できるモデルは少なめだけど、定額使いたい放題だからね…他のは単発で使うなら安いけど使用のたびに費用かかるのが合わない
0137名無しさん＠ピンキー2025/01/05(日) 15:55:28.11ID:???
今のとこLyra Gutenbergs Twilight Magnum 12bに落ち着いてる
軽くてレスポンス早いし、NGないし、文章のクオリティも結構高め
よくミスるけどLMStudioなら介入しやすいし、早いから再出力もさせやすい

>>132
試してみたけど悪くないな。地の文は良い感じ
セリフがちょっと堅い気もするけど
0140名無しさん＠ピンキー2025/01/05(日) 19:35:25.07ID:???
量子化すれば12bモデルも6gbになって余裕で動くようになるで
0141名無しさん＠ピンキー2025/01/05(日) 20:08:10.44ID:hSVDz953
12gbで12bは余裕ぞ
というかそのぐらいまでがベストなサイズ感すらある
0142名無しさん＠ピンキー2025/01/05(日) 20:38:58.77ID:???
3060 12Gで問題なく動く→12B Q6

7Bまでと思い込んでたので、12B動かせること知って全然変わったわ。
0143名無しさん＠ピンキー2025/01/05(日) 20:46:11.28ID:???
M4 MacStudioが発表されたら買おうかな
192GBあればほぼなんでも動かせるだろう
ただGPUがショボいから生成が遅いらしいが
動かせないよりはマシか
0144名無しさん＠ピンキー2025/01/05(日) 20:49:53.67ID:???
重いやつのがクオリティは間違いなく高いんだけどね
結局AIが生成する文章そのものというより、いい感じに自由度高く介入できるのが好きなんだと気付いたんでやっぱ生成速度大事やわ
0146名無しさん＠ピンキー2025/01/05(日) 22:53:19.35ID:???
このスレも以前はグラボ関係なく70Bをガンガン(ゆるゆる)動かして「いやー30Bくらいの方が性能と速度のバランスがいいんだけどな」なんて会話をしていたものだがのう
0148名無しさん＠ピンキー2025/01/05(日) 23:13:19.19ID:???
Magnumすごいよな
巷の官ジェネもよく通るし、出来もいい
俺の用途だと月課金する必要感じんわ
CommandR+より遅いのが難点かな
0149名無しさん＠ピンキー2025/01/05(日) 23:14:15.92ID:???
でも12Bって良いモデル全然ない気がするぞ
7Bのがよっぽどまとも
0150名無しさん＠ピンキー2025/01/06(月) 00:07:20.79ID:???
mistral系のモデルで7b派と12b派がいるよね
自分は理解力重視で12b派
0151名無しさん＠ピンキー2025/01/06(月) 07:21:13.38ID:jPrr/kEg
軍人口調にしようとしてるんだけど難しいな
喋り方がかなりおかしくなってしまう
0152名無しさん＠ピンキー2025/01/06(月) 10:55:13.49ID:???
>>151
台詞のサンプルとか指定したらいけないか？
あと性格とかでも口調が変わってくる
0153名無しさん＠ピンキー2025/01/06(月) 11:23:16.09ID:???
>>138
これQ8とその一個下のQ6 K Lってモデルあるな
magnumで色々試すのはいいかもしれん
0154名無しさん＠ピンキー2025/01/06(月) 11:40:25.82ID:jPrr/kEg
>>152
セリフのサンプル通りにならないんだよな
性格と矛盾してる箇所があるのかもしれないからそこらへん弄ってみるわ
0155名無しさん＠ピンキー2025/01/06(月) 13:43:09.64ID:???
セッションが続くと文章崩れる問題ってもうどうあがいても解決できないのかなあれ
magnumすごくいいんだけど、結局そこで躓く

素人考えだと、前の文章に必要以上に引っ張られなきゃいいだけじゃんって思うんだけども
0156名無しさん＠ピンキー2025/01/06(月) 14:05:48.20ID:???
ファインチューンで使うデータセットのトークン長を長くしないといけないから難しい問題なんよね
英語ならトークナイザーが強いからあんまり気にしなくていいんだけれども
0157名無しさん＠ピンキー2025/01/06(月) 16:05:26.69ID:Yd+8NNWx
コーディング支援系のやつ色々ためしてんだけど
Cursor→Cody→Roo cline
って変遷してんだけどゴリゴリ自動で作業してく感じすごいわ
AIが作業した結果に許可ボタンポチるだけのAI見守りおじさんだよ👴
0158名無しさん＠ピンキー2025/01/06(月) 16:25:14.14ID:???
>>155
忘れてほしくない情報は記憶しろって言う
忘れて良い情報は忘れろって言う
それが大事
0159名無しさん＠ピンキー2025/01/06(月) 18:53:26.22ID:jPrr/kEg
>>157
俺も興味あるんだけどプログラミングとかほんのちょっとしか触ったことなくて良く分からんのよな
例えばどんなことが出来るの？
0160名無しさん＠ピンキー2025/01/06(月) 20:37:13.50ID:???
koboldcppアプデでwebサーチ機能が追加されてんね
なおどこを有効にすればいいのか分からない😇
0162名無しさん＠ピンキー2025/01/06(月) 22:00:04.11ID:Yd+8NNWx
>>157
なんというかこういう感じやね
ｽﾞﾄﾞﾄﾞﾄﾞって直にコード編集してくれる
@neko.py @piyo.py みたいにコードを引用できたりするから
コードコピペしてChatGPTに貼り付けてぇとかしなくて済むのがデカい
https://youtu.be/M4bLmpkxa1s?si=GPqQ8dA5eFXFPMbn&t=107

>>161
一番ええのはCursorかな?
ただし月額サブスク20$なのでトークン毎の支払いがよければ
VSCODE拡張で入れられるCline(またはフォークのRoo Cline)かな
OpenRouterのトークン消費ランキングで大体上位におるからよく使われてると思う
https://i.imgur.com/5fB1rJU.jpeg
0163名無しさん＠ピンキー2025/01/06(月) 22:01:36.56ID:Yd+8NNWx
安価ミスったスマソ👴
0166名無しさん＠ピンキー2025/01/07(火) 09:02:45.02ID:???
bbx規制終わったかー
>>160
ウェブサーチいい感じだな
7bレベルだとなんか変な結果になるけど
設定は起動時と起動後のコンテキストのオプション2つ設定やで
0167名無しさん＠ピンキー2025/01/07(火) 11:07:18.10ID:???
RyzenAIMaxはモバイル用なのか
なんでデスクトップ用を出さないんだ？
0170名無しさん＠ピンキー2025/01/07(火) 12:58:23.04ID:2NQb3W94
色んなところで言われてるがVRAM 32GBは微妙すぎる
70Bクラスで遊べないのはきつい
0171名無しさん＠ピンキー2025/01/07(火) 13:27:49.20ID:???
70B動かすなら48GBは欲しかったよねえ
さらにお値段ドンになっちゃうけど
0172名無しさん＠ピンキー2025/01/07(火) 13:33:10.51ID:???
AMDかintelがとち狂って96gb積んでるグラボ出さねえかなぁ
それこそaimaxを強くしてデスクトップ向けに出してくれたらいいんだけど
0173名無しさん＠ピンキー2025/01/07(火) 13:42:46.91ID:???
とか思ったらnvidiaもaimaxみたいな製品出してきやがった
まだvram帯域わからんしwinみたいなos入るわけじゃないから完全AI専用機だけど期待大
0177名無しさん＠ピンキー2025/01/07(火) 14:13:48.50ID:???
まあ‥5〜6年もすればLLMもハードウェアも進化してるでしょう
0179名無しさん＠ピンキー2025/01/07(火) 14:28:58.03ID:???
$3,000-は性能の割に格安だね。mac studioが霞む
どうした革ジャン、突然神になったのか？

ただリンクがNVLink-C2Cということは2台までだよな
TB5とか積んでるんだろうか
nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips
0181名無しさん＠ピンキー2025/01/07(火) 14:42:07.23ID:???
Digitsの方は消費電力も少ないから自宅のLLMサーバー用途にはこっちの方がよさそうな気がしてきたな
CUDA使えるのも強い
0183名無しさん＠ピンキー2025/01/07(火) 14:49:24.79ID:???
digitsってアーキテクチャarmなのか
帯域がどれくらいなのかも不明だな
0184名無しさん＠ピンキー2025/01/07(火) 14:55:57.57ID:???
なんだMac買おうと思ってたのにこんなの出されたら待つしかないな
0186名無しさん＠ピンキー2025/01/07(火) 15:11:28.45ID:x7h8INFs
話が旨すぎる
放っておけば5090複数挿しする層に何故こんな餌を
0188名無しさん＠ピンキー2025/01/07(火) 15:30:54.46ID:ydnuQo+m
ついに現実的な値段でまともな文章力のがファインチューニングされる時代が来たのか
70Bとかのは正直「頑張ってるね」レベルが否めなかったからなあ
0189名無しさん＠ピンキー2025/01/07(火) 15:50:12.18ID:EQ8Hm/rG
待ちに待ったStrix Haloの発表の日や！デスクトップ向けメモリ128GB対応で一番安価そうなのは……AI Max PRO 385ってやつなんやな！夢が広がるンゴ！
とかやってたらNVIDIAのproject digits発表見て横転したわ
AI Max PRO 385搭載で128GBのマシンが10万以下とか格安で出るならそれはそれで夢があるけど、project digitsの期待値ちょっとヤバすぎるな
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況