なんJLLM部 避難所 ★9
レス数が950を超えています。1000を超えると書き込みができなくなります。
aquifはなんかthink中みたいな解答してきて小説にならないんだけど
みんな使えてるのか？ Kimiモデルって日本語ができなくはないけどってレベル
DeepSeekみたいな万能さはないよ？ aquifは文章はなかなかいい感じだけど、最初のリクエストを延々と保持し続けるのか場面の転換ができない感じがする 微妙なサイズの量子化GGUFモデルは日本語をまるっと忘れてたりするので
前段後段に翻訳パイプラインを入れて英語か中国語で投げてやると精度が上がったりする
日英や日中の翻訳に特化したLLMが別途ローカルで動けば良いが
そもそも日本語のデータセット自体がショボすぎて学習するにも……状態らしい 日本がAIのためにやるべき事は質の高いデータセットを作ってオープンにすることだったり
海外企業も良いデータセットあれば勝手に使うし日本語性能が伸びる 25G nic買ってRoCEでpc同士でクラスター構築とかどうなんだろ？面白そうだけど。 >>957
久しぶりにRoCEの語を見たなあ
面白いよ
接続先の別PCのメモリをRAMDISKにして
そこから自PCをブートしたりしてた >>958
実際面白いのか、やってみようかなぁ。
なんかRoCEで自宅AIクラスター構築って本を見て面白そうだなと思って。
構築してllama とかでモデルを動かせるのか全く未知数だけど、、チャッピーはできるとか言ってた。 Hereticっていう検閲除去ツールが来たな
誰か使い物になるか試してみてくれ そこまでやったときはllamaの出る幕では無いかもね nictあたりでコーパス作りゃいいのよ
GENIACなんかやってもどうせしょぼいパラメータ数のしかできないんだから そういうもんなんか？docker でllama うごかしてオープンチャットだっけ、でllm構築したくらいの経験しかないからよくわからん…いろいろ調べてみるか。 >>957
RoCEに対応できるSwitchが高いんだよなあ >>964
そうなんか。まぁ2pcなら直結でいけるっぽいし、まずそれでやろかなと。 >>960
軽くソースを読んだけど、オリジナルのモデルデータがVRAMに乗らないと高速処理できないっぽい
ハイスペックの有志が検閲除去してくれるのを期待するしかなさそう >>960
元々エロ自体はちゃんと学習していて個人で動かせて検閲の厳しいモデルって何があったっけ？ すでに書かれているけどLLMから検問を無くす（無修正にする）ツール「Heretic」が公開
https://github.com/p-e-w/heretic
高価なハードウェアでも作業時間がかかるみたいだけどHF見るとすでに公開してくれてる人がちらほらいる
色々と出揃うまで正座待機ですわ
https://huggingface.co/models?sort=modified&search=Heretic abliteratedモデルはhereticのURLにも出てくるhuihui-aiが主要モデルで前から出しているが
同じモデルでも指示への追従性が下がったりして取り回しが難しいんや
たぶんモデルを安定動作させるための「べからず」まで自動で取っ払うからやろな 検閲されてるモデルは事前学習からフィルタリングしてるし見かけの検閲解除は意味ないと思うけどな
ローカルならそれこそ数百サンプルを学習してあげるだけでも検閲消えるしわざわざ重みを壊す必要ない レス数が950を超えています。1000を超えると書き込みができなくなります。
