コード生成AIに水彩画を描かせる強化学習パイプライン、Hugging Faceが全成果物をオープン公開

要点

• 大規模言語モデルにJavaScriptコードを出力させて水彩画を描かせる強化学習手法の完全オープンな再現環境が公開された。
• クリエイターのSurya Narreddi氏が考案した、描画ライブラリを介して約150行のコードを生成・実行させる手法をベースにしている。
• 強化学習ライブラリ「TRL」と環境フレームワーク「OpenEnv」を採用し、学習スクリプト、実行環境、評価モデル、データセットなどの全成果物がオープン化された。
• Hugging Faceのクラウド実行基盤やホスティング環境を組み合わせ、1行のコマンドで学習を起動できるエンドツーエンドの構成が整えられている。

リード文

Hugging FaceのSergio Paniego氏は2026年9月3日、大規模言語モデルにJavaScriptコードを記述させて水彩画を描く強化学習（RL）パイプラインを再現し、その全成果物をオープンソースとして公開したと発表した。
本プロジェクトは、クリエイターのSurya Narreddi氏が公開して話題となった描画手法を工学的に再現したものである。学習用のリファレンスデータセットから強化学習環境、学習スクリプト、学習済みモデルに至るまで、すべての構成要素がHugging Face Hub上で誰でも利用できる形で提供されている。

背景：SNSで150万回以上再生された「コードで描く水彩画」

発端となったのは、2026年8月23日にSurya Narreddi氏がSNS（X）上に投稿した動画である。言語モデルが水彩画のようなタッチの絵画を描き出す様子を収めたこの動画は、公開直後から大きな注目を集め、150万回以上の再生回数を記録した。

Narreddi氏は、ブラウザ上でグラフィックスを描画するためのライブラリ「p5.js」に手描きのような自然な描画ツールを追加する「p5.brush」を活用し、モデルに描画コードを生成させていた。同氏は初期段階の検証内容を自身のブログで解説していたものの、成果物そのものは非公開となっていた。そこでPaniego氏は、このアイデアを完全にオープンな形で誰でも追試・利用できるようにすることを目指し、エンジニアリング側の視点からパイプライン全体の再現に着手したという。

仕組み：約150行のプログラム出力とメソッド制限によるスタイル表現

本手法の大きな特徴は、画像生成モデルのようにピクセルデータを直接出力するのではなく、言語モデルが約150行のJavaScriptプログラムを生成して描画を行う点にある。

生成結果が実行可能なコードであるため、AIがどのような意図や手順で各ブラシストローク（筆遣い）を配置したのかを人間が直接読み取り、コードを編集して再実行することも可能となっている。また、独特の水彩画風のスタイルは、モデルが利用できるp5.brushのメソッドをわずか10種類に制限するという制約を設けることで生み出されている。

Paniego氏は、現代の一般的な画像生成AIが統計的に平均化された整った画像を生成するのに対し、本手法による絵画が手描きのようなラフさや不完全さを持っていることが、多くの人々の関心を集めた要因であると分析している。プロンプトによるテキストからの画像生成（Text-to-Image）では表現のコントロールに限界があるが、言語モデル自体を強化学習で訓練し、かつコードという媒体を介することで、より詳細な描画制御を実現していると説明されている。

システム構成：Hugging Face上で完結するエンドツーエンドの学習基盤

今回公開された再現パイプラインは、強化学習ライブラリ「TRL（Transformer Reinforcement Learning）」と、強化学習環境を共有・構築するためのフレームワーク「OpenEnv」を組み合わせて構築されている。

システム全体がHugging Faceの提供する各種プラットフォーム機能の上で完結するように設計されており、各要素は以下のように分担されている。

• モデル学習: クラウド上で計算処理を実行できる「Hugging Face Jobs」を使用。Qwenのオープンモデル（Qwen3.5-35B-A3B）に対し、パラメータを効率的に追加学習するLoRA（Low-Rank Adaptation）や、GRPO（Group Relative Policy Optimization）アルゴリズムを用いた学習スクリプトが用意されている。
• 強化学習環境とスコア評価: Webアプリケーションをホストできる「Hugging Face Spaces」上で、描画環境「watercolour-env」およびスコア評価モデル「watercolour-hpsv3」が稼働する。
• ペアワイズ判定: 生成された画像の比較評価（Pairwise Judge）には推論API機能「Inference Providers」が利用される。
• 成果物の集約: 公開されたすべてのデータセット、環境、モデルはHugging Face Hubの専用コレクションに一元化されている。

利用者は、提供されている2つのSpaces（環境とスコアラー）を自身の環境に複製し、報酬調整用の環境変数を設定するだけで、単一のコマンドから学習ジョブを立ち上げることが可能になっているという。

3種類の報酬設定の比較と今後の展開

今回の再現実験では、手動で選定・評価されたリファレンス画像プールをもとに、3種類の報酬ミックス（Reward Mixes）を設定して並行して学習が行われた。各学習ステップにおける中央値の描画結果を記録した動画や、報酬設計ごとの生成結果の違い、実験に使用された全コードがGitHubリポジトリ（adithya-s-k/HuggingEnvs）上で公開されている。

Paniego氏は、Narreddi氏の元のブログ記事で示された報酬設計の枠組みを忠実になぞって実験を進めたとした上で、自身のアイデアや試行案については実験本体に混ぜ込まず、記事末尾の今後の課題リストとして整理したと述べている。