1. ツール呼び出しLLMのファインチューニングに関するエンドツーエンドガイドが公開
小規模LLMのツール呼び出し能力を向上させるために設計された、エンドツーエンドの教師ありファインチューニング（SFT）パイプラインを詳述する包括的なガイドが公開されました。このチュートリアルでは、XYZ-Aquila-SFTデータセットを使用し、マルチターンのツール軌跡を解析して構造化されたツール呼び出しを抽出し、Qwen互換のChatML形式に変換する方法を実演しています。パイプラインは、Hugging Face Transformers、PyTorch、PEFTを使用してQwen3-0.6BモデルにLoRAを適用し、モデルの応答に学習を集中させるためにアシスタントのみの損失マスキングを組み込んでいます。また、ツール呼び出し精度の向上を体系的に測定するための教師強制評価プローブも備えています。
- • Hugging Face Transformers、PyTorch、PEFTを使用したエンドツーエンドの教師ありファインチューニング（SFT）パイプラインの概要。
- • マルチターンのツール軌跡を解析し、Qwen互換のChatML形式に変換するワークフロー。
- • 学習トークンにアシスタントのみの損失マスキングを適用し、LoRAを用いてQwen3-0.6Bモデルをファインチューニング。
- • 学習前後のツール呼び出し性能を測定するための教師強制評価プローブをパイプラインに統合。
開発者に対し、構造化されたツール呼び出しを確実に出力できるよう、小規模でタスク特化型のモデルをファインチューニングするための具体的かつ再現可能なワークフローを提供します。
2. AnthropicがClaudeにおけるSynthID-Textの実装詳細を公開
Anthropicは、不可視の電子透かし（ウォーターマーク）を実装するという以前のコミットメントに基づき、将来のClaudeモデルにおいてGoogle DeepMindのSynthID-Textを利用することを明らかにしました。この手法は、出力の品質、速度、コストに影響を与えることなく、トークン選択のランダム性を調整して電子透かしを埋め込むものです。また同社は、画像についてはメタデータにC2PA標準を使用し、将来的に検出APIをリリースする予定であることも確認しました。
- • Anthropicは将来のClaudeモデルのテキスト電子透かしとしてGoogle DeepMindのSynthID-Textを採用。
- • トークン選択のランダム性を調整して電子透かしを埋め込む手法により、品質、速度、コストへの影響を排除。
- • 電子透かしにはユーザーを特定する情報は含まれない。
- • 画像については引き続きメタデータにC2PA標準を使用。
- • 将来的に電子透かし検出APIをリリース予定。
EU AI法への準拠のために導入される電子透かしの手法について技術的な明確性を提供し、それがモデルのパフォーマンスに影響を与えないことを裏付けています。