1. Microsoft, 추론 모델 MAI-Thinking-1을 포함한 MAI 모델 제품군 출시
Build 2026에서 Microsoft는 7개의 새로운 자체 AI 모델을 공개하며 독자적인 모델 개발로의 전환을 알렸습니다. 주력 모델인 MAI-Thinking-1은 깨끗한 데이터로 처음부터 학습된 35B 파라미터 규모의 추론 모델로, 소프트웨어 엔지니어링 벤치마크에서 선도적인 모델들과 대등한 성능을 보여줍니다. 개발자를 위해 VS Code 및 GitHub Copilot에 직접 통합되는 MAI-Code-1-Flash와 Microsoft Foundry에서 제공되는 매우 빠른 음성-텍스트 변환 모델인 MAI-Transcribe-1.5도 함께 출시되었습니다.
- • MAI-Thinking-1은 350억 개의 활성 파라미터와 128K 컨텍스트 윈도우를 갖춘 중형 추론 모델로, 깨끗한 데이터로 처음부터 학습되었습니다.
- • MAI-Code-1-Flash는 GitHub Copilot 및 Visual Studio Code에 통합된 추론 효율적인 코딩 모델입니다.
- • MAI-Transcribe-1.5는 실시간 대비 약 276배의 속도와 Artificial Analysis 리더보드 기준 2.4%의 단어 오류율(WER)을 달성한 음성 전사 모델입니다.
- • MAI-Transcribe-1.5는 Microsoft Foundry를 통해 1,000분당 6달러에 제공되며 43개 언어를 지원합니다.
- • 기타 모델로는 텍스트-이미지 변환을 위한 MAI-Image 2.5와 15개 언어가 추가된 MAI-Voice-2가 있습니다.
개발자들은 GitHub Copilot 및 Visual Studio Code와 같은 도구에 직접 통합된 Microsoft의 새로운 전문 자체 모델 제품군을 사용할 수 있게 되었습니다.
2. Alibaba, 멀티모달 에이전트 모델 Qwen3.7-Plus 출시
Alibaba의 Qwen 팀은 에이전트 워크플로우에 최적화된 폐쇄형 멀티모달 모델 Qwen3.7-Plus를 출시했습니다. 이 모델은 시각 및 언어 기능을 통합하여 GUI와 CLI 상호작용을 혼합할 수 있는 하이브리드 에이전트 역할을 합니다. 100만 토큰 컨텍스트 윈도우를 제공하며, 그중 25만 6천 토큰은 내부 사고 과정(chain-of-thought) 전용으로 할당됩니다. 또한, 대화 간 추론 상태를 유지하기 위한 새로운 'preserve_thinking' API 파라미터를 지원합니다. 표준 입력 가격은 100만 토큰당 0.40달러로 매우 경쟁력이 있습니다.
- • Qwen3.7-Plus는 입력 토큰 100만 개당 0.40달러, 캐시된 읽기 토큰 100만 개당 0.04달러로 책정되었습니다.
- • 이 모델은 100만 토큰 컨텍스트 윈도우를 제공하며, 여기에는 내부 사고 과정 처리를 위한 25만 6천 토큰이 포함됩니다.
- • 새로운 'preserve_thinking' API 파라미터를 통해 개발자는 다중 턴 대화 전반에 걸쳐 내부 논리 루프를 유지할 수 있습니다.
- • 이 모델은 독자적인 폐쇄형 모델이며 Alibaba Cloud의 Bailian 플랫폼(Model Studio) 국제 엔드포인트를 통해 액세스할 수 있습니다.
- • Terminal Bench 2.0-Terminus에서 70.3점, ScreenSpot Pro에서 79.0점을 기록했으며, LM Arena Vision Arena에서 전체 16위를 차지했습니다.
개발자들은 이전 모델보다 훨씬 저렴한 비용으로 시각 인터페이스와 명령줄 인터페이스를 결합한 복잡한 멀티모달 에이전트 루프를 구축할 수 있습니다.
3. Microsoft, AI 에이전트를 위한 MXC OS 수준 샌드박스 도입
Microsoft는 Windows에서 AI 에이전트를 안전하게 실행하기 위해 설계된 보안 계층인 Microsoft Execution Containers(MXC)를 도입했습니다. MXC를 통해 개발자는 런타임 시 OS 커널 수준에서 적용되는 액세스 경계를 정의할 수 있으며, 에이전트 실행을 사용자의 데스크톱, 클립보드 및 입력 장치로부터 격리하여 UI 스푸핑 및 입력 주입을 방지합니다. 이 시스템은 경량 프로세스 격리부터 마이크로 VM까지 다양한 샌드박싱 옵션을 지원하며, 현재 SDK 지원과 함께 초기 프리뷰 버전으로 제공됩니다.
- • MXC는 런타임 시 Windows OS 커널 수준에서 적용되는 AI 에이전트용 정책 기반 실행 계층을 제공합니다.
- • 샌드박스 범위는 경량 프로세스 격리부터 마이크로 가상 머신 및 전체 클라우드 인스턴스까지 다양합니다.
- • MXC는 에이전트 실행을 사용자의 데스크톱, 클립보드, UI 및 입력 장치로부터 격리합니다.
- • 모든 에이전트는 감사 가능성과 거버넌스를 위해 로컬 또는 Microsoft Entra 기반 ID에 바인딩됩니다.
- • OpenAI, Nvidia, Manus, Nous Research, OpenClaw를 포함한 파트너들이 MXC를 자사 프레임워크에 통합하고 있습니다.
- • MXC는 현재 개발자가 포함 정책을 테스트하고 SDK를 기반으로 구축할 수 있도록 초기 프리뷰로 제공됩니다.
개발자는 커널 수준에서 엄격하게 적용되는 보안 경계를 통해 자율 에이전트를 구축 및 실행하여 UI 스푸핑 및 입력 주입과 같은 위험을 완화할 수 있습니다.
4. Microsoft, 오픈 소스 AI 평가 프레임워크 ASSERT 출시
Microsoft는 AI 애플리케이션 테스트를 간소화하기 위해 설계된 프레임워크인 ASSERT(Adaptive Spec-driven Scoring for Evaluation and Regression Testing)를 오픈 소스로 공개했습니다. ASSERT는 AI를 사용하여 목표, 정책 또는 제약 조건에 대한 자연어 설명을 구조화된 점수 기반 테스트 케이스로 변환합니다. 실행 중에 이 프레임워크는 대상 시스템의 중간 작업과 도구 호출을 기록하여 개발자가 실패 지점을 검사하고 휴대용 정책 파일을 사용하여 사용자 지정 에이전트 정책을 적용할 수 있도록 합니다.
- • ASSERT(Adaptive Spec-driven Scoring for Evaluation and Regression Testing)는 오픈 소스 프레임워크입니다.
- • 목표, 정책 또는 동작에 대한 자연어 설명을 구조화된 점수 기반 테스트로 변환합니다.
- • 프레임워크는 문제 시나리오를 생성하고 대상 시스템에 대해 실행하며 중간 작업과 도구 호출을 기록합니다.
- • 개발자는 시스템 컨텍스트, 도구 및 제약 조건을 제공하여 평가를 사용자 지정할 수 있습니다.
- • 팀이 휴대용 정책 파일을 사용하여 사용자 지정 에이전트 정책을 정의할 수 있도록 합니다.
개발자는 일반 텍스트를 사용하여 AI 애플리케이션에 대한 반복 가능한 회귀 테스트 및 동작 평가를 쉽게 시작할 수 있습니다.
5. Mistral, 오픈 소스 검색 툴킷 퍼블릭 프리뷰 출시
Mistral은 Search Toolkit을 퍼블릭 프리뷰로 출시했습니다. 이 오픈 소스 프레임워크는 데이터 수집, 검색 및 평가를 단일 공유 인터페이스 내에서 통합하여 프로덕션 AI 파이프라인을 간소화하도록 설계되었으며, 개발자가 RAG 시스템을 더 쉽게 구축하고 벤치마킹할 수 있도록 합니다.
- • Search Toolkit이 퍼블릭 프리뷰로 출시되었습니다.
- • 오픈 소스 프레임워크입니다.
- • 데이터 수집, 검색 및 평가를 공유 인터페이스 내에서 통합합니다.
프로덕션 RAG 파이프라인을 구축하고 평가하기 위한 표준화된 오픈 소스 인터페이스를 제공합니다.
6. Perplexity, 에이전트 검색을 위한 Search as Code SDK 도입
Perplexity는 AI 애플리케이션을 위한 검색 아키텍처를 현대화하도록 설계된 SDK인 Search as Code(SaC)를 도입했습니다. SaC는 모놀리식 검색 시스템에서 벗어나 AI 모델이 검색 프로세스를 직접 제어할 수 있도록 하여, 특정 작업에 맞게 검색 파이프라인을 동적으로 구성할 수 있게 합니다. Perplexity는 이러한 에이전트 검색 방식이 성능과 비용 효율성을 향상시키며 WANDR과 같은 복잡한 벤치마크에서 경쟁사보다 뛰어난 성능을 보인다고 보고합니다.
- • Search as Code(SaC)는 검색 프로세스에 대한 직접적인 모델 제어를 위한 SDK를 제공합니다.
- • 모델은 특정 작업에 맞게 검색 파이프라인을 구성할 수 있습니다.
- • SaC는 벤치마크, 특히 WANDR과 같은 복잡한 작업에서 경쟁사보다 뛰어난 성능을 보였습니다.
- • Perplexity는 SaC를 강력하고 비용 효율적인 에이전트 검색 기능으로 포지셔닝합니다.
개발자가 LLM에 의해 직접 제어되는 고도로 맞춤화된 작업별 검색 파이프라인을 구축할 수 있게 하여 모놀리식 검색 시스템보다 뛰어난 성능을 제공합니다.
7. TinyFish, BigSet 오픈 소스 멀티 에이전트 데이터 추출 시스템 출시
TinyFish는 자연어 설명으로부터 구조화된 데이터셋을 생성하도록 설계된 오픈 소스 AGPL-3.0 라이선스 멀티 에이전트 시스템인 BigSet을 출시했습니다. Docker를 통해 작동하는 BigSet은 스키마 추론 모델이 데이터 구조를 정의하고 오케스트레이터가 병렬 하위 에이전트를 조정하여 데이터를 추출하는 2계층 아키텍처를 사용합니다. 이 시스템은 예약된 새로 고침, CSV/XLSX로의 내보내기를 지원하며, JavaScript 클로저 내에 데이터셋 ID를 격리하여 프롬프트 주입으로부터 보호합니다.
- • BigSet은 AGPL-3.0 라이선스가 적용된 오픈 소스 멀티 에이전트 시스템입니다.
- • 2계층 에이전트 아키텍처를 사용합니다: 스키마 추론 모델이 구조를 정의하고, 오케스트레이터 에이전트가 추출을 위한 병렬 하위 에이전트를 관리합니다.
- • 시스템은 예약된 데이터셋 새로 고침(30분에서 매주 단위)과 CSV 또는 XLSX로의 내보내기를 지원합니다.
- • Docker를 통해 셀프 호스팅되며 TinyFish, OpenRouter, Clerk의 API 키가 필요합니다.
- • 데이터셋 ID를 LLM이 액세스할 수 없는 JavaScript 클로저에 캡처하여 프롬프트 주입을 방지합니다.
개발자는 내장된 프롬프트 주입 보호 기능을 갖춘 웹 소스에서 구조화된 데이터를 추출하고 새로 고치는 셀프 호스팅 병렬 에이전트 시스템을 배포할 수 있습니다.
8. Microsoft, 로컬 AI 개발을 위한 Surface RTX Spark Dev Box 공개
Microsoft는 AI 워크로드를 클라우드 기반의 토큰당 가격 책정에서 로컬 고정 비용 하드웨어로 전환하기 위해 설계된 소형 데스크톱 PC인 Surface RTX Spark Dev Box를 발표했습니다. Nvidia의 Blackwell 아키텍처 Arm 기반 RTX Spark 프로세서로 구동되는 이 장치는 1페타플롭의 AI 연산 성능을 제공하며 128GB의 통합 메모리를 갖추고 있어 개발자가 1,200억 개 이상의 파라미터를 가진 모델을 로컬에서 실행할 수 있습니다. 이 장치는 Windows 11 Pro를 실행하며 WSL 2, VS Code, Python을 포함한 필수 개발자 도구가 사전 구성되어 있습니다.
- • Surface RTX Spark Dev Box는 Nvidia의 Blackwell 아키텍처 RTX Spark 프로세서와 128GB의 통합 메모리를 특징으로 합니다.
- • 1페타플롭의 AI 연산 성능을 제공하며 1,200억 개 이상의 파라미터를 가진 모델을 로컬에서 실행하도록 설계되었습니다.
- • 방열판 역할을 하는 수동 냉각식 금속 3D 프린팅 섀시와 함께 100와트 열 설계 전력(TDP)을 특징으로 합니다.
- • WSL 2, VS Code, GitHub Copilot, Git, Python, Node.js가 사전 구성된 Windows 11 Pro와 함께 제공됩니다.
- • 2026년 후반에 Microsoft.com을 통해 미국에서 출시될 예정이며 가격은 아직 공개되지 않았습니다.
개발자에게 클라우드 토큰당 비용을 우회하여 최대 1,200억 개의 파라미터를 가진 모델을 실행할 수 있는 전용 로컬 하드웨어 옵션을 제공합니다.
9. OpenAI, 사이트 및 역할별 플러그인으로 Codex 플랫폼 업데이트
OpenAI는 문서 편집 및 애플리케이션 생성을 간소화하기 위한 기능을 도입하며 Codex 에이전트 AI 플랫폼의 중요한 업데이트를 발표했습니다. 이 업데이트에는 정적 텍스트나 데이터를 대화형 OpenAI 호스팅 웹 애플리케이션으로 변환하는 비즈니스 및 엔터프라이즈 계층용 프리뷰 도구인 'Sites'가 포함되어 있습니다. 또한, 새로운 'Annotations' 도구를 사용하면 전체 문서를 다시 생성할 필요 없이 특정 문서 섹션을 로컬에서 편집할 수 있으며, 6개의 새로운 역할별 플러그인이 데이터 분석 및 제품 디자인과 같은 작업을 위한 통합 기능을 제공합니다.
- • 새로운 Sites 기능(비즈니스/엔터프라이즈용 프리뷰)은 정적 데이터나 텍스트 문서를 OpenAI가 호스팅하는 기능적인 웹 호스팅 내부 애플리케이션으로 변환합니다.
- • Annotations 도구를 사용하면 전체 문서를 다시 생성하지 않고도 문서(스프레드시트, 슬라이드)를 로컬에서 편집할 수 있습니다.
- • 6개의 역할별 플러그인 카테고리는 62개의 비즈니스 애플리케이션과 110개의 자동화된 기술(예: 데이터 분석, 제품 디자인)을 통합합니다.
- • 기능은 OpenAI의 독점 엔터프라이즈 라이선스에 따라 Codex CLI 및 데스크톱 앱을 통해 액세스할 수 있습니다.
- • 가격은 기존 구독 계층(Plus 월 20달러, Pro 월 100달러) 또는 좌석 제한 없는 종량제 모델에 통합되어 있습니다.
개발자와 엔터프라이즈 팀은 정적 데이터와 문서에서 직접 대화형 호스팅 웹 애플리케이션을 구축하고 공유할 수 있습니다.
10. Cursor, 팀 제한 확대 및 프리미엄 좌석 도입
Cursor는 팀 플랜에 대한 업데이트를 발표하여 집중적인 개발 워크플로우를 더 잘 수용할 수 있도록 사용 제한을 확대했습니다. 회사는 헤비 에이전트 사용자를 위해 특별히 맞춤화된 새로운 프리미엄 좌석 계층을 도입했으며, 팀이 사용 비용을 관리하고 모니터링할 수 있도록 돕는 새로운 관리형 지출 제어 기능을 추가했습니다.
- • Cursor는 팀 플랜의 사용 제한을 늘렸습니다.
- • 헤비 에이전트 사용자를 위해 특별히 설계된 새로운 프리미엄 좌석을 도입했습니다.
- • 관리자가 사용량을 관리할 수 있는 새로운 지출 제어 기능을 추가했습니다.
헤비 에이전트 코딩 워크플로우에 Cursor를 사용하는 팀은 더 높은 제한과 더 나은 비용 관리 제어 기능을 얻게 됩니다.
11. Kapa, RAG를 위한 인덱싱 시점 이미지 처리 전략 공유
Kapa는 기술 문서를 처리하는 RAG 시스템을 위한 이미지 인덱싱 전략에 대한 세부 정보를 공유했습니다. 쿼리 시점에 종종 페이로드 제한에 걸리는 비용이 많이 드는 멀티모달 처리를 수행하는 대신, Kapa는 인덱싱 시점에 비전 모델을 사용하여 이미지를 설명하고 캡션을 별도의 텍스트 청크로 저장합니다. 이 접근 방식은 쿼리당 오버헤드를 텍스트 전용 시스템의 1%~6%로 줄이고, 제로샷 분류기로 필수적이지 않은 이미지를 필터링하며, 초기 고객 프로젝트에서 94%~99%의 정확한 이미지 배치를 달성했습니다.
- • Kapa는 쿼리 시점에 이미지를 처리하는 대신 비전 모델을 사용하여 인덱싱 시점에 이미지를 처리하고 텍스트 설명을 생성합니다.
- • 이 방법은 텍스트 전용 시스템에 비해 쿼리당 오버헤드를 1%~6%로 줄이고 쿼리 시점 페이로드 제한을 피합니다.
- • 제로샷 분류기를 사용하여 로고나 배너와 같은 필수적이지 않은 이미지를 필터링합니다.
- • 비전 모델에 주변 텍스트 컨텍스트를 제공하여 캡션 품질을 향상시킵니다.
- • 캡션을 별도의 청크로 저장하는 것이 인라인으로 임베딩하는 것보다 비용 효율적입니다.
이미지가 많은 기술 문서에 대해 RAG 시스템을 구축하는 개발자에게 매우 비용 효율적이고 신뢰할 수 있는 아키텍처 패턴을 제공합니다.
12. Microsoft, Fabric을 위한 Microsoft IQ 및 Rayfin SDK 발표
엔터프라이즈 AI의 데이터 사일로 및 컨텍스트 문제를 해결하기 위해 Microsoft는 Microsoft IQ와 오픈 소스 Rayfin SDK를 발표했습니다. Microsoft IQ는 Work, Foundry, Fabric 및 Web 소스 전반의 컨텍스트를 통합합니다. Rayfin SDK와 CLI를 통해 개발자는 에이전트가 구축한 애플리케이션을 Microsoft Fabric에 직접 배포하고 애플리케이션 데이터를 Microsoft OneLake로 라우팅하여 관리되는 프로덕션 백엔드를 유지할 수 있습니다.
- • Microsoft IQ는 Work IQ, Foundry IQ, Fabric IQ, Web IQ의 4가지 컨텍스트 소스를 통합합니다.
- • Rayfin은 에이전트가 구축한 애플리케이션을 Microsoft Fabric에 직접 배포하도록 설계된 오픈 소스 SDK 및 CLI입니다.
- • Rayfin은 조직의 컨텍스트 계층 외부에서 데이터 사일로가 발생하는 것을 방지하기 위해 애플리케이션 데이터를 Microsoft OneLake로 라우팅합니다.
- • Fabric IQ 내의 온톨로지는 향후 몇 달 내에 정식 출시될 예정입니다.
엔터프라이즈 에이전트를 구축하는 개발자는 애플리케이션 데이터를 관리되는 OneLake 백엔드로 직접 라우팅하여 데이터 사일로를 방지할 수 있습니다.
13. OpenAI Cookbook, Amazon Bedrock에서의 프로덕션 워크플로우 가이드
OpenAI cookbook은 Amazon Bedrock에서 호스팅되는 OpenAI 모델로 프로덕션 워크플로우를 구축하는 방법을 자세히 설명하는 새로운 가이드를 출시했습니다. 이 튜토리얼은 Responses API를 활용하여 구조화된 출력, 도구 호출, 파일 입력과 같은 주요 개발자 기능을 시연하고, 상태 관리 및 프롬프트 캐싱과 같은 운영 모범 사례도 다룹니다.
- • 이 가이드는 Amazon Bedrock에서 호스팅되는 OpenAI 모델을 사용하여 프로덕션 워크플로우를 구축하는 방법을 시연합니다.
- • Responses API를 활용하여 구조화된 출력, 도구 호출 및 파일 입력을 보여줍니다.
- • 상태 관리 및 프롬프트 캐싱을 포함한 운영 모범 사례를 다룹니다.
Bedrock에서 구조화된 출력, 도구 호출 및 프롬프트 캐싱을 구현하기 위한 구체적이고 실행 가능한 코드 패턴을 제공합니다.
14. Gemma 4 E4B, LiteRT 엔진으로 2.4배 속도 향상 달성
커뮤니티 벤치마크 결과, Gemma 4 E4B 모델을 Google의 LiteRT 엔진에서 실행할 경우 llama.cpp GGUF 형식 대비 텍스트 생성 속도가 2.4배 향상되는 것으로 나타났습니다. NVIDIA 4060ti에서 테스트한 결과, 다중 토큰 예측을 사용하는 LiteRT-LM 4B 모델은 초당 157.2토큰을 달성했습니다. GitHub에서 OpenAI 호환 엔드포인트를 노출하는 Python 래퍼를 사용할 수 있지만, 결정론적 출력, 요청 배치 처리 부족, Linux 전용 지원 등 현재 엔진의 제한 사항을 개발자는 유의해야 합니다.
- • NVIDIA 4060ti GPU에서 테스트한 결과, 다중 토큰 예측(MTP)을 사용하는 LiteRT-LM 4B는 초당 157.2토큰을 달성했으며, 이는 llama.cpp GGUF의 초당 66.3토큰과 비교됩니다.
- • 이미지 캡션 성능은 비전 인코더에 의해 병목 현상이 발생하여 1.1배의 소폭 속도 향상을 보였습니다.
- • LiteRT 모델에 대한 OpenAI 호환 엔드포인트를 생성하기 위해 Python 래퍼가 개발되었으며 GitHub에서 사용할 수 있습니다.
- • 현재 LiteRT-LM의 제한 사항으로는 온도와 관계없는 결정론적 출력, 단일 세션 작업, 요청 배치 처리 부족, Linux 전용 지원 등이 있습니다.
Linux에서 로컬 모델을 실행하는 개발자는 LiteRT와 다중 토큰 예측을 활용하여 추론 지연 시간을 크게 줄일 수 있습니다.
15. 반복 작업을 위한 6GB GPU에서의 20개 소형 LLM 벤치마크 평가
한 개발자가 파일 정리 및 로그 분류와 같은 반복 작업을 위해 저예산 6GB RTX 4050 GPU에서 20개의 소형 LLM을 평가하는 벤치마크를 게시했습니다. 이 연구는 도구 호출, JSON 엄격성 및 지시 준수에 대해 모델을 테스트했으며, 모든 모델이 컨텍스트를 1k에서 32k 토큰으로 확장할 때 20%~35%의 속도 저하를 겪는다는 것을 발견했습니다. LFM2.5-1.2B-Instruct는 빠르고 낮은 VRAM 옵션으로, Granite-4.1-3B는 견고한 기준선으로, LiquidAI의 LFM2.5-8B-A1B는 최고의 오케스트레이터로 강조되었습니다.
- • 평가는 도구 호출, JSON 엄격성, 지시 준수 및 경로 환각에 대한 6개 프로브 세트를 사용하여 6GB GPU에서 20개의 소형 모델을 테스트했습니다.
- • 모든 모델은 컨텍스트가 1k에서 32k 토큰으로 확장될 때 생성 속도가 20%~35% 감소했습니다.
- • LFM2.5-1.2B-Instruct는 빠르고 낮은 VRAM 옵션으로 확인되었으며, Granite-4.1-3B(instruct)는 VRAM 대비 품질 기준선 역할을 했습니다.
- • LiquidAI의 LFM2.5-8B-A1B 빌드가 최고의 오케스트레이터로 선택되었으며, 속도와 사용 가능한 컨텍스트 면에서 밀집형 8B 모델보다 뛰어난 성능을 보였습니다.
- • 타사 파인튜닝 모델은 종종 환각된 함수 이름 및 깨진 채팅 템플릿과 같은 문제를 보였습니다.
백그라운드 자동화 작업을 위해 소형 로컬 모델을 선택하는 개발자에게 구체적인 성능 및 품질 기준을 제공합니다.
16. 개발자, 로컬 멀티 에이전트 오케스트레이터로서 Qwen3.6-27B 평가
한 개발자가 47개의 코딩 워크플로우에서 멀티 에이전트 오케스트레이터의 Claude를 로컬 Qwen3.6-27B 모델(RTX 3090에서 Q6_K 양자화)로 교체한 2주간의 평가 결과를 공유했습니다. Qwen은 계획 생성에 대해 95%의 스키마 유효성을 달성했지만, JSON 도구 호출에서 12%의 형식 오류율(Claude의 0.5%와 비교)을 보였고 14K 토큰 이후 긴 컨텍스트 드리프트를 겪었습니다. 작성자는 Qwen3.6-27B가 구조화된 출력 적용 및 실패 시 재계획 논리와 결합된 경우에만 로컬 멀티 에이전트 시스템에 적합하다고 결론지었습니다.
- • Qwen3.6-27B(Q6_K 양자화, RTX 3090에서 22GB VRAM)를 OpenYabby 오케스트레이터에서 47개의 다단계 코딩 워크플로우에 걸쳐 2주 동안 테스트했습니다.
- • 모델은 계획 생성에 대해 95%의 스키마 유효성을 달성했으며 6턴마다 성공적으로 사실을 추출했습니다.
- • JSON 도구 호출에서 12%의 형식 오류율을 보였으며, Claude는 0.5%였습니다.
- • 두 번째 Qwen 인스턴스를 사용한 자동 검토 프로세스가 Claude가 식별했을 버그의 약 60%를 포착했습니다.
- • 모델은 14k 토큰 이후 긴 컨텍스트 드리프트를 겪었으며 47번의 실행 중 3번에서 하위 에이전트 실패를 감지하지 못했습니다.
에이전트 워크플로우를 위해 상용 API를 로컬 모델로 교체할 때의 실제 제한 사항과 필요한 가드레일(예: 구조화된 출력 적용)을 강조합니다.
17. AMD MI300X 가속기에서 DeepSeek-V4-Flash 최적화
기술 심층 분석에서는 동급 Nvidia 하드웨어보다 낮은 대여 가격으로 192GB의 HBM3 메모리를 제공하는 AMD의 MI300X 가속기에서 DeepSeek-V4-Flash를 구동하는 과정을 자세히 설명합니다. MI300X는 최신 AMD 칩에서 사용되는 OCP 표준 FP8과 호환되지 않는 'fnuz' FP8 방언을 사용하기 때문에, 개발자는 사용자 지정 소프트웨어 해결 방법과 ROCm 전용 도우미를 구현했습니다. 이러한 최적화는 vLLM의 호환성 문제를 해결하고 GPU당 초당 2,699개의 출력 토큰이라는 높은 처리량 성능을 달성했습니다.
- • AMD MI300X는 192GB의 HBM3 메모리를 특징으로 하며, 이는 NVIDIA H100의 80GB 용량보다 두 배 이상 많습니다.
- • MI300X에서 DeepSeek-V4-Flash와 함께 vLLM을 실행하려면 FP8 방언 비호환성으로 인해 사용자 지정 소프트웨어 해결 방법이 필요했습니다.
- • MI300X는 최신 AMD 칩에서 사용되는 OCP 표준 FP8과 지수 편향이 다른 'fnuz' FP8 방언을 사용합니다.
- • AMD의 AITER 튜닝 커널 라이브러리의 불균일한 커버리지로 인해 사용자 지정 ROCm 전용 도우미가 필요했습니다.
- • 최적화를 통해 GPU당 초당 2,699개의 출력 토큰을 달성했으며, 이는 8.6%의 성능 향상을 나타냅니다.
쉽게 구할 수 있는 AMD 하드웨어에서 DeepSeek 모델을 고처리량으로 비용 효율적으로 로컬 호스팅할 수 있게 합니다.
18. 로컬 RAG 파싱을 위한 웹 검색 API 개발자 비교
커뮤니티 토론에서는 로컬 RAG 파싱을 위해 깨끗하고 노이즈 없는 Markdown을 반환하도록 최적화된 웹 검색 API에 대한 평가를 정리했습니다. Brave Search의 LLM Context API와 Exa(이전 Metaphor)는 사전 서식이 지정된 Markdown 청크를 직접 제공하는 것으로 강조되었으며, Parallel AI의 Extract API는 JavaScript가 많은 페이지를 압축하는 것으로 주목받았습니다. 논의된 다른 도구로는 You.com의 개발자 인덱스, Tavily, Firecrawl 및 Jina Reader와 같은 URL-to-Markdown 변환기가 있습니다.
- • Brave Search는 관련성 순으로 정렬된 사전 서식이 지정된 Markdown 청크를 반환하는 LLM Context API를 제공합니다.
- • Parallel AI는 JavaScript가 많은 페이지를 토큰 밀도가 높은 Markdown으로 압축하도록 설계된 Extract API를 제공합니다.
- • You.com API는 원시 Markdown 출력을 포함한 개발자 인덱스를 제공합니다.
- • Exa(이전 Metaphor)는 LLM을 위해 특별히 구축된 기본 Markdown 추출 기능을 갖추고 있습니다.
- • Tavily는 인기가 있지만 토큰 오버헤드 및 노이즈 필터링과 관련하여 엇갈린 피드백을 받았으며, Firecrawl과 Jina Reader는 URL-to-Markdown 변환으로 주목받고 있습니다.
개발자가 토큰 오버헤드를 최소화하고 RAG 파이프라인에서 사용자 지정 스크래핑 미들웨어의 필요성을 제거하는 검색 API를 선택하도록 돕습니다.
19. Hugging Face, 모델에 대한 하드웨어 호환성 검사 도입
Hugging Face는 모델 저장소 페이지에 직접 하드웨어 호환성 검사 기능을 도입했습니다. 이 도구를 사용하면 개발자가 특정 모델 크기나 양자화 수준이 로컬 하드웨어 구성에서 실행될 수 있는지 즉시 확인할 수 있어 로컬 배포를 위한 모델 선택 프로세스가 간소화됩니다.
- • Hugging Face는 플랫폼의 모델에 대한 하드웨어 호환성 검사 기능을 도입했습니다.
- • 이 기능은 개발자가 모델(예: 6B 파라미터 dphnAI X1 Trinity Nano)이 자신의 하드웨어 구성에서 실행될 수 있는지 평가하는 데 도움을 줍니다.
특정 모델 크기나 양자화가 자신의 하드웨어에서 실행될지 즉시 보여줌으로써 로컬 모델 선택을 간소화합니다.