Inference Brew

Qwen 3.6 27B Abliteratedがリリース、拒否率を大幅に低減

00:00 / --:--

← ホームへ戻る

Qwen 3.6 27B Abliteratedがリリース、拒否率を大幅に低減

1. Qwen 3.6 27B Abliteratedがリリース、拒否率を大幅に低減

Apostateプロジェクトは、同プロジェクト初となる大規模モデルのリリースとして、Qwen 3.6 27BのAbliterated版を公開しました。モデルの安全性アライメントを調整することで、拒否率を92%から7.6%まで低減させることに成功しています。この変更によるモデルの基本性能への影響はKLダイバージェンスでわずか0.120と最小限に抑えられており、Hugging Faceにて標準形式およびGGUF形式で利用可能です。

  • ApostateプロジェクトがQwen 3.6 27B AbliteratedをHugging Faceにて標準およびGGUF形式で公開。
  • モデルの安全性アライメントを修正し、拒否率を92%から7.6%に低減。
  • 修正によるモデル性能への影響は最小限(KLダイバージェンス0.120)に留まる。
  • Apostateプロジェクトによる初の大規模モデルリリース。

開発者は、厳格な安全性による拒否を回避しつつ、元の高い能力を維持した高性能なローカルモデルをデプロイできるようになります。

SOURCES

2. Claude Code向けプラグイン「Recall」がローカルセッションメモリを追加

Claude Code向けの新しいプラグイン「Recall」は、外部APIにデータを送信することなく、永続的なセッションメモリを提供します。ユーザーのローカル環境で完全に動作するRecallは、Pythonスクリプトを用いてTF-IDFおよびTextRankアルゴリズムによりプロジェクトセッションを要約します。ログと要約はローカルの.recall/ディレクトリに保存され、新しいコーディングセッションにおけるコールドスタート問題を解決し、トークン使用量を削減します。また、APIキーやシークレットがログに書き込まれないよう、組み込みの秘匿情報削除機能も備えています。

  • RecallはClaude Code向けのローカルファーストなプラグインで、セッションログとプロジェクトの要約を作成する。
  • ツールは完全にローカルで動作し、要約にはPythonスクリプトとTF-IDFおよびTextRankアルゴリズムを使用。
  • セッション再開時のトークン消費を抑え、要約のための外部モデル呼び出しを回避することでAPIクレジットを節約。
  • ファイル書き込み前にAPIキーやトークンなどのシークレットを削除するベストエフォート型の秘匿情報削除機能を搭載。
  • 個人およびチーム共有のメモリをサポートし、データを.recall/ディレクトリに保存。

開発者はClaude Codeを使用する際、永続的なローカルセッション要約を維持することで、APIコストを削減し、プロジェクトのコンテキストを再説明する手間を省くことができます。

SOURCES

3. ローカルビジョンモデルのベンチマーク、Qwen3.6 27Bを推奨

ローカルビジョン言語モデル(VLM)の最新ベンチマークでは、Apple Silicon上でllama.cppを使用して23種類のモデルを評価しました。その結果、Qwen3.6 27B(Q4、思考モードなし)がトップとなりました。特筆すべき点として、ハイブリッドモデルで思考モードを有効にすると、実際にはビジョン性能が低下しタイムアウトを引き起こすこと、また、ビジョンタスクにおいてはMoEモデルが同等の密なモデル(dense model)よりも性能が低い傾向にあることが明らかになりました。

  • Apple M2 Max(96GB RAM)を使用し、llama.cpp環境で30枚の画像を用いて23モデルを評価。
  • Qwen3.6 27B(Q4、nothink)がスコア79.6で最高性能を記録。
  • ハイブリッドモデルでの思考モード有効化はビジョン性能を低下させ、不安定化やタイムアウトの原因となることが判明。
  • VRAM容量別の推奨モデル:4-8GBはQwen3.5 4B、12-16GBはQwen3-VL 8B (Q8)、24GB以上はQwen3.6 27B。
  • ビジョンタスクにおいて、Mixture of Experts (MoE) モデルは同等の密なモデルよりも性能が低い。

開発者に対し、ローカルビジョンモデルをデプロイする際のハードウェア固有の推奨事項を提供し、思考モードの不安定さといった性能上の落とし穴について警告しています。

SOURCES

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。