Inference Brew

Grok Build CLIがリポジトリ全体とシークレットをxAIクラウドにアップロード

00:00 / --:--

← ホームへ戻る

Grok Build CLIがリポジトリ全体とシークレットをxAIクラウドにアップロード

1. Grok Build CLIがリポジトリ全体とシークレットをxAIクラウドにアップロード

あるセキュリティ研究者が、Grok Build CLIが完全なgit履歴やコミットされていないファイルを含むリポジトリ全体を、ユーザーに通知することなくxAIのクラウドサーバーにパッケージ化してアップロードしていることを発見しました。このアップロードは通常の操作中に自動的に行われ、CLI設定でモデル改善設定を明示的に無効にしてもこの動作が続くことが確認されています。

  • Grok Build CLIバージョン0.2.93は、リポジトリ全体をgitバンドルとしてcli-chat-proxy.grok.comにあるxAIのGoogle Cloudインフラストラクチャにアップロードします。
  • アップロードされるデータには、APIキーやデータベースパスワードを含む.envファイルや、完全なgit履歴などの機密ファイルが含まれます。
  • リポジトリのアップロードは、ユーザーがファイルを開いたり読み取ったりしたかどうかにかかわらず、自動的に発生します。
  • CLIツールの「モデルを改善する(Improve the model)」トグルを無効にしても、リポジトリのアップロードは阻止されません。

Grok Build CLIを使用している開発者は、直ちに環境を監査し、密かにアップロードされた可能性のあるAPIキーやデータベースの認証情報を再発行(ローテーション)する必要があります。

SOURCES

2. Sqlsure: AI生成SQLのためのオフライン意味論的検証ツール

Sqlsureは、実行前にSQLクエリの意味論的エラーを検証するために設計されたオープンソースのオフラインツールです。既存のdbtテストを利用したり、ライブデータベースのスキーマをイントロスペクション(自己検査)したりすることで、二重カウントや誤った結合カーディナリティなどのエラーを1ミリ秒未満で決定論的に検出できます。

  • Sqlsureは、ネットワーク呼び出し、テレメトリ、直接的なデータベースアクセスを必要とせず、0.1ミリ秒でオフラインでSQLクエリを検証します。
  • BIRDおよびSpiderの専門家が作成した2,568件のクエリを使用したベンチマークにおいて、再現率100%、誤検知率0%を達成しました。
  • ライブデータベースのスキーマ、dbtテスト、または主キー/外部キー宣言をイントロスペクションすることで検証ルールを生成します。
  • SqlsureはApache-2.0ライセンスで提供され、pip経由でインストール可能であり、CIゲート、MCPサーバー、ライブラリとしての統合をサポートしています。

Text-to-SQL機能を構築する開発者は、このツールをパイプラインやMCPサーバーに統合することで、ライブデータベースでクエリを実行する前に意味論的エラーを捕捉できます。

SOURCES

3. Reame: 永続的なKVキャッシュを備えたMITライセンスのCPU推論サーバー

Reameは、llama.cppをベースにした軽量なMITライセンスのCPU推論サーバーです。共有vCPUや2コアのARMボックスのような低コスト環境向けに特別に設計されており、ディスクベースの永続的なKVキャッシュと自己調整型の投機的デコードを活用して、連続する実行を通じてパフォーマンスを向上させます。

  • Reameは共有vCPUや2コアのARMボックスのような低コストハードウェア向けに設計されており、GPUオフロードは明示的に除外されています。
  • このサーバーは、プロンプトのプレフィックスをディスクにスナップショットとして保存し、再起動やプロセス間で再利用する永続的な共有プレフィックスKVキャッシュを備えています。
  • ホストハードウェア上で投機的デコードが逆効果であると判断した場合、自動的に無効化する自己調整型の投機的デコードを実装しています。
  • OpenAI互換のREST APIと、モデル管理およびサービングのためのゼロコンフィグCLIを提供し、MITライセンスの下で利用可能です。

開発者は、強力なキャッシュと投機的デコードを通じて高いパフォーマンスを維持しながら、低コストの共有vCPUやARMインスタンス上でLLMをデプロイできます。

SOURCES

4. Mesh LLM: Irohを使用したピアツーピア分散LLM推論

Mesh LLMは、複数のマシン間でGPUとメモリリソースをプールし、単一のOpenAI互換APIを公開する分散コンピューティングプラットフォームです。このシステムはirohを使用して安全なピアツーピア接続を確立し、開発者が大規模なモデルを小規模なローカルハードウェアに分割して実行できるようにします。

  • Mesh LLMはirohエンドポイントを使用して、中央サーバーを必要とせずにノード間で認証されたNATトラバーサルQUIC接続を確立します。
  • このプラットフォームは、大規模モデルをレイヤー範囲ごとに異なるノードに分割し、小規模なハードウェアで実行する「Skippy」分割モードを備えています。
  • このソフトウェアは18MBの軽量バイナリで、localhost:9337/v1でOpenAI互換のAPIを提供します。

開発者は、認証されたNATトラバーサル接続を介して複数のコンシューマー向けマシン間でレイヤーを分割することで、エンタープライズグレードのハードウェアなしで大規模なモデルをローカルで実行できます。

SOURCES

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。

Inference Brewを受信箱へ

1日5分。無料、いつでも解除できます。