なんJLLM部 避難所 ★9
command aってAPI経由なら月1000回まで無料で使えるから試すだけならそっちで良いんじゃないの？最悪BANされても痛くないし
流石にメモリオフロードすると1t/sすら切るからまともに使えんよ
3090 x 3とq4_k_mで10t/sぐらいそれでも遅いくらいなのに >>65
正確に検索するならElasticSearch
ベクトルでなんとなく近い文書検索ならFAISSとかChromaを呼び出して
最終的にLLMで文書化する感じ >>72
ダウンロードしてたけど>>73の案で行ってみる！
ニキ2人ともサンガツです 