なんJLLM部 避難所 ★10
0001名無しさん＠ピンキー 転載ダメ (ﾜｯﾁｮｲ dfc7-Jvli)2025/11/23(日) 22:55:29.17ID:kt2SGedd0
!extend:checked:vvvvv:1000:512
!extend:checked:vvvvv:1000:512

AIに色々なことをしゃべってもらうんやで
そこそこのデスクトップPC（できれば＋3060 12GB以上）でもなんぼか楽しめるで
自薦・他薦のモデルやツールは>>2以降

本スレ(避難中)
なんJLLM部 ★7
https://fate.5ch.net/test/read.cgi/liveuranus/1710561010/
前スレ(実質本スレ)
なんJLLM部 避難所 ★8
https://mercury.bbspink.com/test/read.cgi/onatech/1746883112/
なんJLLM部 避難所 ★9
https://mercury.bbspink.com/test/read.cgi/onatech/1755924738/
VIPQ2_EXTDAT: checked:vvvvv:1000:512:: EXT was configured
0774名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:53:46.01ID:0byVmzBK0
macのlm-studioでしか試してないけど

1. モデルをダウンロード
2. フォルダーマークでダウンロードした translategemma-27b-itを探して、右の歯車クリック
3. Loadタブのコンテキスト量はmaxにした(8192では試してない)
4. Prompotタブの上 (Jinja)のところを下に入れ替える(---は無視)

---
{{- bos_token }}
{%- for message in messages %}
{%- if message['role'] == 'system' %}
<start_of_turn>user
{{ message['content'] }}


{%- elif message['role'] == 'user' %}
{{ message['content'] }}<end_of_turn>
<start_of_turn>model
{%- elif message['role'] == 'assistant' %}
{{ message['content'] }}<end_of_turn>
{%- endif %}
{%- endfor %}
---
0775名無しさん＠ピンキー (ﾜｯﾁｮｲ 07d0-gOcD)2026/01/16(金) 19:54:30.69ID:0byVmzBK0
「システムプロンプト」欄に

---
You are a professional English (en) to Japanese (ja) translator.
Your goal is to accurately convey the meaning and nuances of the original English text while adhering to Japanese grammar, vocabulary, and cultural sensitivities.
Produce only the Japanese translation, without any additional explanations or commentary. Please translate the following English text into Japanese:
---

lm-studio再起動、モデルを指定

あとはチャット欄に英文を入れるだけ。Jinjaのプロンプトで2行空行は必須。
0777名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 20:05:48.58ID:ZwE9wbul0
今の俺にはRAM256GBは夢のまた夢だが、RAM256GB積めばGeminiと遜色のない小説文章を出力してくれる？

Geminiは0から生み出すというよりも、元の殴り書きから小説文章を生み出すのに秀でているが、これがローカルLLMでも出来たら強いなあと
0781名無しさん＠ピンキー (ﾜｯﾁｮｲ 3e9f-vlRz)2026/01/16(金) 21:32:43.81ID:ZwE9wbul0
>>779
Gemini2.5fでも魅力的だが、その場合は256GB？
0782名無しさん＠ピンキー (ﾜｯﾁｮｲ 36a9-KoMk)2026/01/16(金) 22:00:31.51ID:khTupJvD0
GLM4.7を想定して書いたけども
もとにしたベンチマークはおそらくbf16で動いてるやろうから1TBになるやね

Q8ならおそらくそこまで劣化ないやろうからほぼ同等の性能が512GBでおそらくいける
それより下の量子化になるとベンチマークでは数値下がってくると思うやで
0783名無しさん＠ピンキー (ﾜｯﾁｮｲ 662b-uqmN)2026/01/16(金) 22:28:03.19ID:2veUatO60
ノベルAIがGLM4.6だっけ？ゲミニと比べたらゴミみたいなもんだし厳しいな
0786名無しさん＠ピンキー (ﾜｯﾁｮｲ 936a-viuJ)2026/01/17(土) 14:28:23.25ID:sdnCrY5o0
2.5てポンコツ
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況