おもしろいサイトと記事を見つけたので引用します。arXivを引用している一般向けとはやや異なる専門性有りに見えるサイト：
煽り気味のタイトルは置いといて以下引用：
昨日発表されたKarakuri社のLLM、「KARAKURI LM 8x7B Instruct v0.1」は、非常に高性能な日本語LLMだ。Karakuri社は今年の一月にも非常に高性能な70Bモデルを引っ提げて業界に旋風を巻き起こした。この最新のLLNは、日本語向けオープンLLMとしては初の「命令実行」チューニングを施されている。それだけでなく、RAGと呼ばれる、複数の知識を組み合わせてより正解に近い答えを導く技術や、Function Callingという、LLMが必要に応じて足りない知識や計算を補うために外部に対して情報収集命令を発行して能動的に情報を集めるといった機能が搭載されている。
喩えが妥当かは解らないが日経ロボ並かそれに近いレベルに見える（まあ、私のレベルが・・・アレなのはご容赦頂くとして：）、オープンLLMに着目。続いて：
特筆すべきことは、Karakuriの日本語最高性能を誇るLLMの開発にかかった計算費が、たったの75万円だと公表されていることである。750万円の間違いかもしれない(実際、1月に発表した70Bモデルは1000万程度という話だった)が、それにしても圧倒的な低コストだ。NVIDIAのGPU、H100は今500万円以上する。
ではどうしてKarakuriはこんな低予算で日本語最高性能のエージェントLLMを作ることができたのか。それはNVIDIAのGPUを使っていないからだ。
Karakuriが使用するのはAmazonが開発したAI学習専用チップ Trainium(トレイニウム)である。おそろしくマイナーなチップで知る人は少ないが、Trainium用の学習ソフトウェアパッケージはAmazonが公開しており、Karakuri社のブログでも詳細に「LLMの作り方のレシピ」が公開されている。
このパラグラフで個人的にはへぇ〜（良い意味での）となってくる。AmazonのAI学習チップでARMv8ベースだっけか（間違ってたらすみません：）？ 更に続いて：
さらにAmazonは、推論専用チップとしてInferentia2を開発しており、実際、Karakuri社のデモサイトで誰でもこのLLMとAmazonのInferentia2チップの性能を体験することができる。控えめに言ってGPT-4oと遜色ないスピードで結果が出てくるし、それなりに賢い。
さらに驚くべきことに、二週間ほど前に発表された「Mixture-of-Agents(エージェントの合成)」という論文がある。
この論文では、すでに公開されているオープンLLMを8つ組み合わせて使うだけで、GPT-4o単体の性能を上回るベンチマーク結果となったと主張している。そのソースコードが公開され、筆者は大概のことで驚かなくなったものの、やはり驚いてしまった。
この論文を要約すると、オープンなLLMを4〜6個組み合わせ、一つの質問に対してそれぞれのLLMを「プロポーザー(提案者)」と「アグリゲーター(まとめ役)」に役割分担し、何度かディスカッションをすることで回答の品質が最終的にGPT-4oを上回るのだと言う。
しかも、LLMの組み合わせによってGPT-4oと同等の性能だが計算効率は圧倒的に高いMoA-Liteと、GPT-4oより計算量も少なくさらに高性能なMoAの二つが提案された。
組み合わせるLLMの種類によってプロポーザー向きのLLMとアグリゲーター向きのLLMがあり、それらの組み合わせに関する考察も論文には盛り込まれている。
しかし一番驚いたのは中身で、この驚異的なコストパフォーマンスと性能向上を実現するプログラムの本体は、わずかこれだけでしかない(https://github.com/togethercomputer/MoA/blob/より抜粋。コメントは筆者)
引用おわり。唆られる内容ですよね。単細胞な私はメルマガ登録してしまいました（無料だし）。以後は上記サイトを参照されたし。
と、久々に良いサイトを発見（いや、単に、私の目と耳が悪いだけかもしれないが）した気分。執筆者リストも公開されている様だし、論文の引用もまともに記載されているし個人的には日経ロボ（編集長記事基準）レベルと認定（何か偉そう：）。
週末の収穫でありました（たまには善き事も、ある）。
20240622 07:50追記：サイト紹介が記されていたので引用。１０年前にNokiaサイドの支援で始まったオウンメディアなる方針らしい↓
商売だから（当然です）最初無料で引き込んで少し経つと有料化案内が頻発して有料でないと記事が読めなくなるパタンと推測するが、その時点でレジストするか判断だろうか。。。
