なんJLLM部 避難所 ★10
0769名無しさん＠ピンキー (ｽﾌﾟﾌﾟ Sd12-UW4l)2026/01/16(金) 11:42:22.06ID:RzBIoy0Nd
RAM64GBだと、50GBクラスのモデルはctx8192とかにしないと厳しいかもね。
0770名無しさん＠ピンキー (ﾜｯﾁｮｲ ff10-KtG4)2026/01/16(金) 12:42:42.95ID:OlPZQfK10
DRAM活かすならMoEモデルだから確かにこのへんか
/mradermacher/Qwen3-Next-80B-A3B-Instruct-abliterated-GGUF
30Bは全然エロで出てこなくて画像解説させるためにVLの解除版使っても全然ダメだったんだけど
Next 80Bはエロ自体の学習はしてる感じなんだな
繰り返しペナルティ強めてるせいでどんどん言い換えてくるの面白い
0771名無しさん＠ピンキー (ﾜｯﾁｮｲ 7236-YDYy)2026/01/16(金) 12:48:45.28ID:SL230Bd20
コンテキスト長を増やすとどんどん性能が落ちるのは最新モデルでも変わらないので小説やロールプレイなどの用途では128K対応モデルだろうと8192推奨みたいやで
用途に合わせて仕方なく12Kやそれ以上にしてねって感じ
0772名無しさん＠ピンキー (ｵｯﾍﾟｹ Sr17-SydR)2026/01/16(金) 16:39:20.54ID:GfBjxY3wr
エロエロ特化のllmレンタルなら商売になるんでは？
0774名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:53:46.01ID:0byVmzBK0
macのlm-studioでしか試してないけど

1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)

---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}


{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
---
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:54:30.69ID:0byVmzBK0
「システムプロンプト」欄に

---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---

lm-studio再起動、モデルを指定

あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。
0777名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 20:05:48.58ID:ZwE9wbul0
今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？

Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと
0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 21:32:43.81ID:ZwE9wbul0
>>779
Gemini2.5fでも魅力的だが、その場合は256GB？
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-KoMk)2026/01/16(金) 22:00:31.51ID:khTupJvD0
GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね

Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで
0783名無しさん＠ピンキー (ﾜｯﾁｮｲ 662b-uqmN)2026/01/16(金) 22:28:03.19ID:2veUatO60
ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況