#14: ReactBench、Grok Build、Claude Artifacts

今回は、ReactBench、Grok Build のオープンソース化、Claude Code Artifacts の MCP コネクタ対応を先に扱い、その他の話題として Thinking Machines Lab の Inkling、Cursor の利用枠、Antigravity、Herdr、OpenCode、Zed の更新を見ます。

React の品質まで採点する ReactBench

React Scan、React Doctor、Million.js を開発する Million Software が、公開リポジトリの実際の変更を使ったコーディングエージェント評価 ReactBench v1 を公開しました。51タスクは、変更を実装する Write React と、問題点を明示されずに既存コードを直す Fix React に分かれます。

挙動テストに通るだけでは合格になりません。400以上の決定論的ルールを持つ React Doctor も使い、Hooks の誤用、不要な再描画、アクセシビリティ、セキュリティ、保守性の問題を新たに持ち込んでいないかを検査します。

提出コードの合否は、非公開の挙動テストと固定版 React Doctor の検査を組み合わせて決めます。実装を行う環境と検証環境は別コンテナで、非公開テストや正解例はエージェントから参照できません。検証時はネットワークを切り、変更前のリポジトリが0点、正解例が1点になることも確認します。LLM にコードを評価させる方式は使っていません。タスクと実行方法は GitHub で公開されています。

ReactBench は各モデル構成の pass@1 を5回の試行から平均しています。GPT-5.6 Sol は medium と xhigh が43.1%で並び、Claude Fable 5 xhigh が41.2%、GPT-5.6 Terra medium が38.0%でした。上位構成間の差は、明確な勝者を決められるほど大きくないとしています。

4,455件の Write React 試行では1,194件の新たな問題が検出され、そのうち925件（77.5%）は正しさやセキュリティに関わるバグでした。Write React は挙動テスト、Fix React は React Doctor の問題を残すケースが、失敗の中心でした。

React 特化の先行例には、uhyo 氏が3月から公開している React Profession Bench があります。こちらは13個の小規模アプリを実装させ、別の LLM が状態設計、Effect、コンポーネント設計、TypeScript、性能、アクセシビリティの6観点を評価します。実在の変更を非公開テストと固定ルールで合否判定する ReactBench に対し、React Profession Bench は Suspense や useSyncExternalStore などを選ぶ設計判断まで読む評価です。前者の React Doctor も Million 自身が開発したルール群であり、どちらも評価者が選んだ「良い React」の定義を含むため、スコアの直接比較はできません。

Grok Build がオープンソースに