なんJLLM部 避難所 ★5
■ このスレッドは過去ログ倉庫に格納されています
AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降
本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★4
https://mercury.bbspink.com/test/read.cgi/onatech/1725931151/ 【Claude3】ChatGPTでオナニー ★51【AI】
https://mercury.bbspink.com/test/read.cgi/onatech/1735603890/
同じ板のこっち行ったほうが早いぞ
熟練の変態達が色んなサービスをためしてる >133
infermatic.ai、arliai、groq、together.aiなどなどあるけど、自分はinfermatic.ai使ってる
使用できるモデルは少なめだけど、定額使いたい放題だからね…他のは単発で使うなら安いけど使用のたびに費用かかるのが合わない 今のとこLyra Gutenbergs Twilight Magnum 12bに落ち着いてる
軽くてレスポンス早いし、NGないし、文章のクオリティも結構高め
よくミスるけどLMStudioなら介入しやすいし、早いから再出力もさせやすい
>>132
試してみたけど悪くないな。地の文は良い感じ
セリフがちょっと堅い気もするけど 俺はこれに落ち着いた。
Lumimaid-Magnum-v4-12B.Q6_K 12Bなんて俺の12GBグラボじゃ動かん
羨ましい 量子化すれば12bモデルも6gbになって余裕で動くようになるで 12gbで12bは余裕ぞ
というかそのぐらいまでがベストなサイズ感すらある 3060 12Gで問題なく動く→12B Q6
7Bまでと思い込んでたので、12B動かせること知って全然変わったわ。 M4 MacStudioが発表されたら買おうかな
192GBあればほぼなんでも動かせるだろう
ただGPUがショボいから生成が遅いらしいが
動かせないよりはマシか 重いやつのがクオリティは間違いなく高いんだけどね
結局AIが生成する文章そのものというより、いい感じに自由度高く介入できるのが好きなんだと気付いたんでやっぱ生成速度大事やわ うおおおお
koboldがついにwebsearchに対応したー このスレも以前はグラボ関係なく70Bをガンガン(ゆるゆる)動かして「いやー30Bくらいの方が性能と速度のバランスがいいんだけどな」なんて会話をしていたものだがのう >>138
このモデルすげえわ
指示に適度に従いつつも表現の幅が広い
小説向け Magnumすごいよな
巷の官ジェネもよく通るし、出来もいい
俺の用途だと月課金する必要感じんわ
CommandR+より遅いのが難点かな でも12Bって良いモデル全然ない気がするぞ
7Bのがよっぽどまとも mistral系のモデルで7b派と12b派がいるよね
自分は理解力重視で12b派 軍人口調にしようとしてるんだけど難しいな
喋り方がかなりおかしくなってしまう >>151
台詞のサンプルとか指定したらいけないか？
あと性格とかでも口調が変わってくる >>138
これQ8とその一個下のQ6 K Lってモデルあるな
magnumで色々試すのはいいかもしれん >>152
セリフのサンプル通りにならないんだよな
性格と矛盾してる箇所があるのかもしれないからそこらへん弄ってみるわ セッションが続くと文章崩れる問題ってもうどうあがいても解決できないのかなあれ
magnumすごくいいんだけど、結局そこで躓く
素人考えだと、前の文章に必要以上に引っ張られなきゃいいだけじゃんって思うんだけども ファインチューンで使うデータセットのトークン長を長くしないといけないから難しい問題なんよね
英語ならトークナイザーが強いからあんまり気にしなくていいんだけれども コーディング支援系のやつ色々ためしてんだけど
Cursor→Cody→Roo cline
って変遷してんだけどゴリゴリ自動で作業してく感じすごいわ
AIが作業した結果に許可ボタンポチるだけのAI見守りおじさんだよ👴 >>155
忘れてほしくない情報は記憶しろって言う
忘れて良い情報は忘れろって言う
それが大事 >>157
俺も興味あるんだけどプログラミングとかほんのちょっとしか触ったことなくて良く分からんのよな
例えばどんなことが出来るの？ koboldcppアプデでwebサーチ機能が追加されてんね
なおどこを有効にすればいいのか分からない😇 >>157
なんというかこういう感じやね
ｽﾞﾄﾞﾄﾞﾄﾞって直にコード編集してくれる
@neko.py @piyo.py みたいにコードを引用できたりするから
コードコピペしてChatGPTに貼り付けてぇとかしなくて済むのがデカい
https://youtu.be/M4bLmpkxa1s?si=GPqQ8dA5eFXFPMbn&t=107
>>161
一番ええのはCursorかな?
ただし月額サブスク20$なのでトークン毎の支払いがよければ
VSCODE拡張で入れられるCline(またはフォークのRoo Cline)かな
OpenRouterのトークン消費ランキングで大体上位におるからよく使われてると思う
https://i.imgur.com/5fB1rJU.jpeg >>157
そのラインナップでgithub copilotは使ってないんか？ bbx規制終わったかー
>>160
ウェブサーチいい感じだな
7bレベルだとなんか変な結果になるけど
設定は起動時と起動後のコンテキストのオプション2つ設定やで RyzenAIMaxはモバイル用なのか
なんでデスクトップ用を出さないんだ？ 色んなところで言われてるがVRAM 32GBは微妙すぎる
70Bクラスで遊べないのはきつい 70B動かすなら48GBは欲しかったよねえ
さらにお値段ドンになっちゃうけど AMDかintelがとち狂って96gb積んでるグラボ出さねえかなぁ
それこそaimaxを強くしてデスクトップ向けに出してくれたらいいんだけど とか思ったらnvidiaもaimaxみたいな製品出してきやがった
まだvram帯域わからんしwinみたいなos入るわけじゃないから完全AI専用機だけど期待大 nvidiaが$3000のスパコンを出すってよ
ユニファイドで128gb まあ‥5〜6年もすればLLMもハードウェアも進化してるでしょう 一方俺は８年前のTeslaP40をebayで買うのであった $3,000-は性能の割に格安だね。mac studioが霞む
どうした革ジャン、突然神になったのか？
ただリンクがNVLink-C2Cということは2台までだよな
TB5とか積んでるんだろうか
nvidianews.nvidia.com/news/nvidia-puts-grace-blackwell-on-every-desk-and-at-every-ai-developers-fingertips Digitsの方は消費電力も少ないから自宅のLLMサーバー用途にはこっちの方がよさそうな気がしてきたな
CUDA使えるのも強い おお、connectXか。400GBあればMoEであればなんとかなりそう digitsってアーキテクチャarmなのか
帯域がどれくらいなのかも不明だな なんだMac買おうと思ってたのにこんなの出されたら待つしかないな 話が旨すぎる
放っておけば5090複数挿しする層に何故こんな餌を 2台で405Bがローカルで動くのか
それも僅か$6000で ついに現実的な値段でまともな文章力のがファインチューニングされる時代が来たのか
70Bとかのは正直「頑張ってるね」レベルが否めなかったからなあ 待ちに待ったStrix Haloの発表の日や！デスクトップ向けメモリ128GB対応で一番安価そうなのは……AI Max PRO 385ってやつなんやな！夢が広がるンゴ！
とかやってたらNVIDIAのproject digits発表見て横転したわ
AI Max PRO 385搭載で128GBのマシンが10万以下とか格安で出るならそれはそれで夢があるけど、project digitsの期待値ちょっとヤバすぎるな ただ開発者向けだから買うのがちょっと面倒になりそうだな なんだこの期待値ぶち上げな情報は
先月今月でソシャゲに30万だったかぶち込んでしまったがもっと早く情報出してくれたら2台目のために温存してたまであるぞ・・・ 128gbで3000ドルなら
64gbを1500ドルで出してくれんかなぁ・・・ チップの演算速度はどのくらいなんだろう
4060くらいはあるんだろうか？ グラボなんて適当に数万だして差しときゃよかったのに
うおおお30万!!やすい!!
順応性高すぎる RTX5090定価$1999(31.5万円)が\393800になるの草 AIの生成速度ってメモリ帯域で決まるから5090のことなら間違いなく早くなるよ
project degitsはメモリ帯域わからんから何とも まだスペック完全には出てないと思うけれど、少なくともA6000よりは全体的に上で、A100の80GBとは互角かそれ以上になる・・・
かもしれないってChatGPTが言ってた
画像生成モデルの学習や生成も個人レベルではかなり上がるんじゃない？
俺もそっち方面含めてめちゃ期待してる ヤベえよ5090買おうとしてたのに
いや、VRゲームとかもやるからそっちはそっちで要るか と言うか128Gのメモリで最大200bってことは量子化前提なんかな？
4台くらい繋げられんのだろか 5070 24GB版が後から追加される可能性はあるのだろうか と思ったらGPUじゃなくて小型スパコンとかいう意味わからんデバイスのことか
こりゃ革ジャンががんばってくれたら数年もしないうちに個人用AIサーバーみたいなのを
家電買うぐらいのハードルで建てられるようになりそうだわ Project DIGITSってLPDDR5Xらしいしそんなに帯域大きくないんじゃないのか Project DIGITSほしいよおおおお
でもビグテックが買い占めて庶民には回ってこないんだろな… mediatekと組んで作ってるということはスマホベースなのかな
macと同じようなものを作りますということ？ >>206
これは学生含む小規模開発者向けだからビッグテックが買い漁るジャンルのものじゃないよ
学校で一括導入したりはあるだろうけど >>207
単純にARMのCPUの設計をしてもらうために組んだのでは もういっさいゲームとかしなくてLLMか画像と動画生成をローカルで遊ぶくらいしか用途が無いんだけど買うならRTXよりdigitsの方が良いかな
OSもlinuxベースなら画像生成も学習も問題なく出来るよな? ARM系だからセットアップが面倒（一部ライブラリを自前でコンパイルする必要があるとか）だけど
普及すればその問題も消えるだろうしVRAMが必要な推論用途なら大本命のデバイスやね >>212
ARM系とかlinuxも全く分からんけどGPTあたりに聞けばなんとかなりそうだな挑戦してみよう RTX50はFP4対応したけどRTX40以下とのGPU混載だとFP4の高速化の恩恵受けないのかな FP4対応ってTensorCoreやろ？
ワイは一度試しに動かしたことある程度なんやが個人で利用してる人おるんやろか
正直geforceではtensorcore削って安くしてほしいんやが Chat with RTXみたいにTenser Coreに最適化済みのモデルを動かすと速いよ、50xxだとfp4も使えてさらに速いよって話なのかな
fp4使えなくても最適化済みモデルの数が増えるとか最適化手法が一般化することで恩恵あるかもね 最適化と言うかtensorrtはそのモデルを使う環境でモデル変換をする必要があるからめんどくさくてどうしても普及しない
nvidiaのはどうやってるか知らないけど、多分力技で全パターンの変換済みモデルを自前で用意してるんじゃないかと
多分一つのモデルに対して数十パターンは用意しないといけない
下手したら100以上かも 5000シリーズも出そろったし、チャット系だと実は mac mini M4 24G 位の方がリーズナブルだったりするんだろうか。 digitsの出力速度はどうなんだろう
メモリがDDR5なのが気になるところ vidiはvram増やさないで済む戦略で進めるようだし
メモリほしいならmac一択やな ワイはまだRyzen AI MAXへの希望を捨てへんで…… >>220
500gb/sじゃねえか、ってredditに出てた これで同価格帯でmac ultra 512Gが出てきたら萌える macはどう考えてもお高いだろ
m2ultraの値段から考えるとm4は128GBで200万ぐらいするんじゃないの digitsはCUDAのサポートが保証されてるのが一番でかい
ハード的にはラズパイくらいの難易度だが機種選定に手間をかけたくない研究機関は脳死でまとめ買いするだろうな
革ジャンにとっては慈善事業の類だろうがTCOで見たらコスパ高いよ そういえば、デスクトップマスコットx localLLMって無いもんなのかな
LLMの記憶力問題をマスコットプログラムで管理して、ゲームブック的なシナリオ. txtにプレイヤーとして挑んでほしい
で、仕事して家に帰ったら今日の冒険がテキストにまとまっててほしい >>228
Steamでdigitalmateっての見つけて買った
合成音声もつかえる Digital mate x LocalLLM、やばいですね
大手が一律でNSFWを禁止している理由がハッキリ分かる >>231
どんな感じなの？
俺のチンポが興味津々なんだけど できることそのものは選択したキャラクターとLocalLLMでチャット出来るというだけだよ
パッケージとして完成していて、手軽に使える、手軽にカスタム出来る、調べ物なしでいきなり果実に手が届くというタイプの危険さ
沼に転げ落ちる予感というか...$3000か... ■ このスレッドは過去ログ倉庫に格納されています
