Inference Brew

KAT-Coder-V2.5のベンチマーク結果とAutoBuilderの詳細が公開

00:00 / --:--

← ホームへ戻る

KAT-Coder-V2.5のベンチマーク結果とAutoBuilderの詳細が公開

1. KAT-Coder-V2.5のベンチマーク結果とAutoBuilderの詳細が公開

コーディングモデル「KAT-Coder-V2.5-Dev」の最近のリリースに基づき、KwaiKATはベンチマークスコアやAutoBuilderシステムに関する詳細を含む追加の技術データを公開しました。同モデルはPinchBenchで94.9、SWE-Bench Proで65.2、Terminal-Bench 2.1で60.7を記録しました。さらに、トレーニング用のリポジトリ環境を構築するAutoBuilderシステムは、12のプログラミング言語全体で成功率を16.5%から57.2%に向上させました。

  • KAT-Coder-V2.5はPinchBenchで94.9、SWE-Bench Proで65.2、Terminal-Bench 2.1で60.7を達成しました。
  • AutoBuilderシステムにより、環境構築の成功率が16.5%から57.2%に向上しました。
  • RLトレーニングプロセスの監査により、サンドボックスインフラの障害が16%から2%未満に減少しました。
  • モデルはQwen3.6-35B-A3Bをベースに、127,000件のSFT例を使用してポストトレーニングされました。

これらのベンチマークとシステム詳細は、モデルの能力と、それを構築するために使用されたトレーニングインフラの有効性について、開発者に明確な理解を提供します。

SOURCES

2. 時間的グラウンディング機能を備えたGigaChat Audio 10Bがリリース

GigaChatチームは、音声を直接処理・推論するように設計されたオーディオネイティブなMixture-of-Experts(MoE)モデル「GigaChat Audio 10B」をリリースしました。Conformer音声エンコーダーとモダリティアダプターを統合することで、音声の質問応答、分類、ツール使用といった複雑なタスクを実行できます。特に、時間的グラウンディング機能により、長い音声ファイル内の特定のイベントを特定し、正確なタイムスタンプ付きの要約を生成できるため、音声分析アプリケーションの新たな可能性を切り拓きます。

  • GigaChat Audio 10Bは、テキストモデルGigaChat 3.1 LightningをベースにしたオーディオネイティブなLLMです。
  • アーキテクチャは、Conformer音声エンコーダー、モダリティアダプター、Mixture-of-Expertsデコーダーを組み合わせています。
  • 音声の質問応答、分類、ツール使用、時間的グラウンディングスキルをサポートしています。
  • 時間的グラウンディング機能は、タイムスタンプ付きのイベント記述とローカライゼーションを可能にするため、TimeGround-1Mデータセットでトレーニングされました。
  • デモとモデルの重みはHugging Faceで公開されており、研究内容はarXiv論文2607.10387に文書化されています。

長い音声ファイルにおいて、正確なタイムスタンプ付きのイベント記述とローカライゼーションが可能なオーディオネイティブモデルを開発者に提供します。

SOURCES

3. Sakana AIがFuguオーケストレーターを拡張、サイバーセキュリティ用エンドポイントを追加

2026年6月にFugu APIオーケストレーターを立ち上げたSakana AIは、新たにサイバーセキュリティタスク専用のエンドポイント「Fugu-Cyber」を追加してプラットフォームを拡張しました。この追加機能は、概念実証(PoC)エクスプロイトの作成やMITRE ATT&CKテクニックのマッピングなどのサイバーセキュリティタスク向けに設計されており、手動審査および地域制限の対象として開発者に提供されています。

  • Fugu-Cyberは、Fuguオーケストレーターの新しいエンドポイントとして2026年7月21日にリリースされました。
  • 同モデルはCyberGymベンチマークで86.9%の成功率を達成しました。
  • 価格は入力トークン100万あたり6ドル、出力トークン100万あたり36ドルで、272Kを超えるコンテキストではより高い料金が適用されます。
  • アクセスは手動審査によって制限されており、現在EUおよびEEAでは利用できません。

既存のFuguオーケストレーションエコシステム内で、自動化されたセキュリティテレメトリおよび脆弱性分析のための専門ツールを開発者に提供します。

SOURCES

4. Cursor BridgeがCursorサブスクリプション経由でClaude Code CLIを実行可能に

別途Anthropic APIキーの料金を支払うことなくClaude Code CLIのパワーを活用したい開発者は、cursor-bridgeを使用できるようになりました。このオープンソースのRustユーティリティはローカルプロキシとして機能し、ファイル編集やシェル実行を含むClaude Codeのエージェントリクエストを、アクティブなCursorサブスクリプション経由で直接ルーティングします。このツールはmacOSキーチェーンや環境変数からトークンを読み取って認証を自動的に処理し、ターミナルベースのコーディングエージェントを実行するためのシームレスで費用対効果の高い方法を提供します。

  • cursor-bridgeは、MITライセンスの下でリリースされたオープンソースのRustバイナリです。
  • このツールにより、Cursorサブスクライバーは追加のAnthropic APIコストを負担することなくClaude Code CLIを実行できます。
  • macOSキーチェーンまたはLinux環境変数からCursor認証トークンを読み取ることで、プロキシのライフサイクルを自動化します。
  • ファイル編集、シェルコマンド、ツール使用など、Claude Codeのエージェント機能へのフルアクセスを提供します。
  • 前提条件として、エージェントCLIが認証されたCursorと、Claude Code CLIがインストールされている必要があります。

既存のCursorサブスクリプションを使用してClaude Code CLIエージェントを実行できるため、別途Anthropic APIのコストを回避できます。

SOURCES

5. World Model Optimizerがエージェントコスト削減のための「wmo serve」をローンチ

オープンソースのworld-model-optimizerプロジェクトは、AIエージェントを動かすモデルの最適化と軽量化を支援するツール「wmo serve」を導入しました。エージェントの実行トレースを分析することで、このツールは反復的なタスクを自動的に小型の専門モデルに蒸留し、これらのカスタムモデルとフロンティアAPI間のルーティングを管理します。開発者は、トークンの圧縮と継続的なトレーニングを処理するローカルのOpenAI互換エンドポイントを立ち上げることができ、エージェントのパフォーマンスを維持しながら推論コストを大幅に削減できます。

  • world-model-optimizerプロジェクトは、エージェント特化型モデルを継続的に改善するために設計されたオープンソースツール「wmo serve」をローンチしました。
  • このツールは反復的なタスクを蒸留された小型モデルにルーティングし、パフォーマンスの向上とコスト削減を実現します。
  • エージェントのトレースを利用して、モデルの蒸留、モデルのルーティング、トークンの圧縮を実行します。
  • ユーザーはエージェントのトレースとOpenRouterキーを渡すことで、ローカルのOpenAI互換エンドポイントを作成できます。
  • ホスト版もウェイティングリスト経由で利用可能で、フロンティアモデルと同等の品質を40%以上のコスト削減で実現すると謳っています。

反復的なエージェントタスクをフロンティアモデルから蒸留されたタスク特化型のローカルエンドポイントに自動ルーティングすることで、APIコストを削減できます。

SOURCES

6. Sentient OSがmacOS向けオープンソースのローカルAIエージェントをローンチ

Sentient OSは、macOS上で完全に動作するように設計された無料のオープンソースローカルAIエージェントとしてローンチされました。カスタムのGemma 4モデルを使用して夜間にローカルファイル、スクリーンショット、メールを分析することで、システムは安全なナレッジベースを構築し、「Sidekick」機能を通じてブラウザやアプリのタスクをプロアクティブに自動化します。複雑な推論が必要な場合、開発者はクラウドベースのフロンティアモデルにタスクをルーティングするようにシステムを設定でき、データがデバイスを離れる前に個人を特定できる情報を削除するプライバシー制御が組み込まれています。

  • Sentient OSは、ファイル、スクリーンショット、メール、メッセージを分析してユーザーをプロアクティブに支援するオープンソースのローカルAIツールです。
  • ソフトウェアにはApple Silicon(M1以降)、macOS 15以降、および8GB以上のRAMが必要です。
  • LiteRT-LMフォーク上のカスタムGemma 4 E4Bモデルを使用して、毎日午前3時にオンデバイス推論を実行します。
  • 「Sidekick」機能は、ローカルナレッジベースに基づいてアプリやブラウザ内のタスクを自動化します。
  • 複雑なタスクをOpenRouterやLM Studio経由でQwen 3.7 35BやKimi K3などのフロンティアモデルにルーティングすることをサポートしています。
  • 生データをローカルに保持し、クラウドエンドポイントに送信される要約から個人情報(PII)を削除することでプライバシーを維持します。

オンデバイス推論を使用してブラウザやアプリのタスクを自動化する、プライバシー重視のオープンソースローカルエージェントフレームワークを提供します。

SOURCES

7. Ruff v0.16.0がデフォルトルールを拡充、Markdownコードブロックのフォーマットに対応

RustベースのPythonリンター兼フォーマッターであるRuffは、バージョン0.16.0をリリースし、デフォルトのルールセットを413ルールへと大幅に拡充しました。AI開発者にとっての重要なハイライトは、Markdownファイル内に埋め込まれたPythonコードブロックをフォーマットする新しい機能であり、プロンプトやドキュメント内のコードスニペットをきれいに保つことが容易になります。今回のアップデートでは、提案された修正の差分をデフォルトで出力する機能や、よりきめ細かな抑制コメントの追加により、開発者のワークフローも改善されています。

  • Ruff v0.16.0は、デフォルトで有効なアクティブなルール数を59から413に増やしました。
  • Markdownファイル内に直接埋め込まれたPythonコードブロックをフォーマットする機能が導入されました。
  • 新しい抑制コメント「ruff: ignore」および「ruff: file-ignore」により、きめ細かな診断抑制が可能になりました。
  • checkおよびformat --checkサブコマンドは、提案された修正の差分をデフォルトで出力するようになりました。
  • missing-copyright-noticeを含む12のルールが安定化され、プレビューから移行しました。

Pythonのリンティングとフォーマットを効率化します。特にLLMのドキュメントやプロンプトで一般的な、Markdownに埋め込まれたコードブロックの管理に役立ちます。

SOURCES

8. AST-grepがTree-sitterコアをRustで書き直し、30%の高速化を実現

ast-grepプロジェクトは、Tree-sitterパーサーフレームワークのCコアをRustで書き直すことに成功し、解析速度で30%、エンドツーエンドのパフォーマンスで22%の向上を実現しました。アリーナアロケーターを活用し、インクリメンタル解析機能を削除することで、大規模なコードベースにおけるピークメモリ使用量を1 GiB以上からわずか91.2 MiBにまで削減しました。重要な点として、新しいコアは既存のTree-sitter文法との完全なABI互換性を維持しており、LLMコンテキストのためにコードベースを解析するツールにとってのドロップインアップグレードとなります。

  • ast-grepプロジェクトは、Tree-sitterパーサーフレームワークのCコアをRustで書き直しました。
  • 新しいRustベースのコアは、解析で30%、ast-grepのエンドツーエンドのパフォーマンスで22%の向上を達成しました。
  • TypeScriptストレスコーパスにおけるピークメモリ使用量は、1 GiB以上から91.2 MiBに削減されました。
  • この書き直しにより、既存のTree-sitter文法およびツールとのバイナリインターフェース(ABI)互換性が維持されています。
  • ファイルスナップショット分析を最適化するため、インクリメンタル解析およびWebAssemblyコンパイル済み文法のネイティブ読み込みのサポートは削除されました。

開発者ツールやLLMコンテキスト収集パイプラインのためのコード解析およびファイルスナップショット分析を高速化します。

SOURCES

9. llama.cppがMinimax-M3のビジョンサポートをマージ

llama.cppコードベースは、Minimax-M3モデルのサポートを正式に統合しました。これには、ビジョン機能とマルチスケールアテンション(MSA)アーキテクチャの両方が含まれます。このマージにより、開発者はコンシューマーハードウェア上でリソース効率の高いローカルなマルチモーダル推論を実行できるようになります。Minimax-M3をllama.cppエコシステムに取り込むことで、開発者は外部APIに依存することなく、オフラインのビジョン・トゥ・テキストアプリケーションを構築できるようになりました。

  • Minimax-M3モデルのビジョンサポートが、llama.cppコードベースに正式にマージされました。
  • 統合には、マルチスケールアテンション(MSA)を備えたMinimax M3のサポートが含まれています。
  • このアップデートにより、Minimax-M3向けのCPUおよびGPUアクセラレーションによるローカルなマルチモーダル推論が可能になります。

llama.cpp経由でローカル推論を実行している開発者が、Minimax-M3モデルを使用してマルチモーダルなビジョンワークフローをデプロイできるようになります。

SOURCES

10. DeepSeek V4 Flashをコーディングハーネス間で比較するベンチマーク

Claude Code、OpenCode、Piという3つの人気コーディングハーネスでDeepSeek V4 Flashをテストした開発者のベンチマークにより、3つとも同一のコード差分品質を生成するものの、運用戦略が大きく異なることが明らかになりました。Claude Codeはコードベースの広範な探索を行うため、最速のハーネスよりも4倍近く時間がかかりました。一方、Piは推論に依存し、OpenCodeはタスクを委任していました。vLLM上でDeepSeek V4 Flashのようなローカルモデルを実行する開発者にとって、適切なハーネスを選択することは実行レイテンシに劇的な影響を与える可能性があります。

  • DeepSeek V4 Flashは、コードベースベンチマークを使用して、Claude Code、OpenCode、Piの3つのハーネスでテストされました。
  • 生成されたコード差分の品質は、3つのハーネスすべてで同一でした。
  • Claude Codeは、同じタスクを完了するのに最速のハーネスの4倍近くの時間がかかりました。
  • 各ハーネスは異なる戦略を使用していました。Piは推論に、OpenCodeは委任に、Claude Codeは広範なコードベース探索に焦点を当てていました。
  • 評価中、DeepSeek V4 FlashはvLLM上で毎秒約180トークンで実行されました。

コード品質を犠牲にすることなく、コードベースタスクでDeepSeekモデルを実行するための最も効率的な実行ハーネスを選択するのに役立ちます。

SOURCES

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。