0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ fec0-xVEZ)2025/08/23(土) 13:52:18.71ID:5lw7ZcNF0
OpenRouterのfreeモデルでエロに使えるのって何がある？
DeepSeekが全く使えなくなったから他を探してるけど脱獄が難しい
hiratagoh/SIP-jmed-llm-2-8x13b-OP-instruct-GGUF
医療用ってさぁ
結構エロいよね
>>748
Grok-4 Fastとか実質タダみたいなもんじゃね？ >>744
単純にチップがクソでかい
AMD Intel NVIDIAより先にTSMC5nm 3nm 2nm使えるからワッパが良くてトランジスタ数も多いCPU・GPUを作れる
高速ユニバーサルメモリもその副産物 0752名無しさん＠ピンキー (ﾜｯﾁｮｲ 779d-pnhr)2025/11/03(月) 19:19:43.19ID:53Yfauo70
open routerはkimi k2が一応free版があるから使えるかもしれません
>>750
金払うならDeepSeek v3.2がもっと安いんよね
>>752
kimiの脱獄って難しくない？ 0754名無しさん＠ピンキー (ﾜｯﾁｮｲ 261b-dOm/)2025/11/04(火) 10:07:24.90ID:EYZhdq4g0
kimi2とかってファインチューニングやらloraで脱獄はできんの？🤔
0755名無しさん＠ピンキー (ﾜｯﾁｮｲ 264b-2gDj)2025/11/04(火) 11:07:38.78ID:BCMENN/Z0
私はkimi k2は本家のapiでしか試したことはないのですが
そもそも脱獄がいらないので、直接エロプロンプトでやってますよ
open routerはapiの方で規制かかってるかもしれませんが
モデル自体は規制はないです
OpenRouterのkimi k2はモデル自体はあるけど9月中旬からほぼ使えなくなってるみたいだわ
OpenRouterのフリーで日本語使えるモデルはほぼ全滅でしょ
俺はredditでわりと評判の良いnano-gpt.comに移行した
月8ドルはまあまあするけど主要なオープンモデルは揃えてるし1日2千or月6万リクエストまで行ける
人気のない小規模LMならローカルで動くからプンルー要らんのよな
そもそもオモチャやし
0762名無しさん＠ピンキー (ﾜｯﾁｮｲ 9709-/N7+)2025/11/04(火) 15:28:06.63ID:q53557r10
GLM4.5:freeはまだ使えるな
0764名無しさん＠ピンキー (ﾜｯﾁｮｲ 779d-pnhr)2025/11/04(火) 16:04:52.10ID:MzG+AFLA0
open routerのkimi k2は有料だとinput $0.5,output $2.5と普通のapiと比べれば
割と安いので、$5くらい払えば1か月くらいは遊べそうではあります
金払っちゃうんだったらKimiよりGLMのがいいけどな
Kimiはガチガチで脱獄しても健全なエロしか書かないけどGLMの方が文章力あってロリでも近親でも何でもあり
0767名無しさん＠ピンキー (ﾜｯﾁｮｲ 26ce-HzdJ)2025/11/04(火) 20:13:17.49ID:vEjNWt330
>>760
良い物教えてくれてありがとう
ccr、roo-code、continue.devからopenrouterを追放できたわ わいはchutesを使ってるわ
一番安いプランなら月3ドルで1日300回の制限やからチャットだけなら困らん
オープンウェイトのモデルしかないけど有名どころは一通りそろってる
これからは子供がクリスマスにグラボをお願いする時代になるんだろうな
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 14:04:24.59ID:OoD41Q4X0
grokはllmエロいけるしチャッピーもそのうち解禁だからローカルllmの意義が減ってきてる気がするんだが、このスレ的には何に使ってるの？
0772名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:07:28.71ID:TA+WwrEg0
俺はローカルllmやるで
もはやエロ関係ない(脱獄すればできるし)
ポテンシャルがえぐいんよローカルllmは
0773名無しさん＠ピンキー (ﾜｯﾁｮｲ ee05-dW62)2025/11/05(水) 15:38:08.65ID:OoD41Q4X0
そうなんか、そう言われるとやってみたくなるな。
5090は近々買う予定なんだけどこれで足りる？nvidia 同士なら分割処理できるみたいだし、でかいモデル用に3060 12g一つ買い足しておいた方がいいかな。ラデオンとの分割は無理っぽいよね。
ローカルで動かすことそのものが目的みたいなところはある
あとはまあ、うちの子（AI）はローカルで完結させておきたいし
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 3ef9-mzUR)2025/11/05(水) 15:59:53.25ID:TA+WwrEg0
>>773
まんま同士だw
実は俺ももう5090買うところなんだよ
俺個人はグラボ2枚刺しは今のところはやるつもりない、けっこう熱とか電力とか食うみたいだし
まあ動かしたいモデルにもよると思うけど…
ちなみに購入サイトとかまだ決まってなかったら、フロンティアではDDR5メモリ128増設で73万くらいで割りと安く買えるからおすすめかも パーツ高騰でもう買い替え無理だし
今のメモリ128GBVRAM24GBで5年は戦うしかない
MoE技術の進化が末端まで降りてくることに期待してわたし待つわ
今からやるならPCを分けたほうがいいと思うよ
少し上の方にも書いてあるけどLLM専用としてMac Studio >>721
画像生成用として5060Tiか5070TiあたりのPCを使うとかさ
まぁ、どれくらい本気でやりたいか、どっちを優先したいかだよね
少しやってみたい程度なら5090は十分すぎるけど本気でやりたいならMac Studioには勝てない >>773
llama.cppのrpcならnvidiaとamdの分割処理もいけるよ 0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 1a49-Sqr1)2025/11/05(水) 17:20:15.77ID:42QIU+Bf0
GLM4.6をフルサイズで動かしたいよなあ
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 17:40:09.17ID:OoD41Q4X0
>>775
いいね。俺は事情で月末になるけど参考にさせてもらうわ、ありがとう。グラボ2枚はややこしいよなやっぱ。
>>776
たりないのか、一体いくらvram あれば実用できるんだ…
>>779
rpc か、結構ややこしそうだね、ありがとう。
>>774
ちなみにどんな子育ててるん？育て方もよくわかってないけど、育ててみたい意欲はあるんよね。 高密度モデルだと5090を活かしきれるモデルではメモリが圧倒的に足りない
32GBに収まるモデルだと5090活かしきれないというジレンマ
MoEだとメインメモリに律速されるのでGPUはそれほど変わらない
LLM目的なら5090は正直おすすめしない
0784名無しさん＠ピンキー (ﾜｯﾁｮｲ 2aad-mzUR)2025/11/05(水) 18:38:48.77ID:STqbQ0mh0
やっぱmac studioになるのか？
それか30902枚か
>>784
200B以上のMoEを最低限の速度でも良いから動かしたいというならmac studioが良いんじゃね プロンプト処理速度は遅いけどdeepseek系でも20t/sくらい出るらしいし
逆にVRAM48GB構成は100BクラスのMoEも載り切らないし、70Bクラスのdenseモデルが最近出てないから微妙になってきてる 0786名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 19:06:03.33ID:a6vKzf2f0
0787名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 19:12:26.96ID:a6vKzf2f0
あっもしかしてDGXとおなじやつかコイツ
RTX xx90系を2枚刺しはあまり現実的ではないよ
1枚で3〜4スロットの厚みがあるし長いからE-ATXくらいのクソデカマザーか外付けじゃないと物理的に取り付けられない（ケースも無理そう）
電源は最低でも1500Wくらいで12V-2x6が2つ必要（それかデュアル電源）
一般家庭は「壁のコンセント」が1500Wまでだから実質的にエアコンみたいな専用コンセントが必要
そして爆音爆熱
xx90系はかなり特殊だから一度しっかり調べたり実物を見に行ったほうがいいよ
0789名無しさん＠ピンキー (ﾜｯﾁｮｲ eeca-dW62)2025/11/05(水) 19:58:28.59ID:OoD41Q4X0
複数台マシンで分散させて動かすのはあんま流行ってないかんじ？
正直ポテンシャルはエグくないと思うけどなー
vram32gb1枚刺しで見られる夢は小さいぞ
0791名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a65-mzUR)2025/11/05(水) 20:30:02.89ID:a6vKzf2f0
うーん775だけどmac再燃しはじめたな
まあゆっくり考えよう
M5は来年だっけ
4090x1と3090x3で運用してるけどリミットかけたうえで1500W電源でギリギリだな
ケースに収めることは最初から放棄してライザーカードでにょきにょき生えてる
0793名無しさん＠ピンキー (ﾜｯﾁｮｲ 7ee0-Rqlm)2025/11/05(水) 23:39:59.89ID:rQAQGwZ50
ええ!?RTX5090を複数刺ししたいって!?
そんなあなたにINNO3DR GeForce RTX™ 5090 iCHILL FROSTBITE
......どう考えてもコンシューマー向け製品じゃないよコレ
0794名無しさん＠ピンキー (ﾜｯﾁｮｲ 3a53-mzUR)2025/11/06(木) 00:06:48.98ID:H0Wl2rhX0
CUDA互換を取るか…
デカモデルを取るか…
MacはM5チップ世代からGPU側に搭載したNeuralAcceleratorでようやくまともなfp16性能が出るようになったんで、今からならM5MaxやM5Ultraを搭載するであろう新型Mac Studioを待ったほうが良いと思われる
0796名無しさん＠ピンキー (ﾜｯﾁｮｲ 660e-mzUR)2025/11/06(木) 01:05:24.51ID:k5cM56Dk0
Mac m3 って96gbメモリでもファインチューニングとかできるんかな
0797名無しさん＠ピンキー (ﾜｯﾁｮｲ 13e7-nV2F)2025/11/06(木) 06:07:26.21ID:4cAqsVGl0
5090複数枚狙うぐらいならQuadro系統の方が良くないか?今度出るRTX5000PROが72GBのはずだし。
aquif-ai/aquif-3.5-Max-42B-A3B
日本語対応でなんかえらいスコアええのぉ