澎湃新聞記者 邵文

這是一張AI系統DALL-E 2根據文字描述“戴着貝雷帽和穿黑色高領毛衣的柴犬”（Shiba Inu dog wearing a beret and black turtleneck）生成的圖像。

時隔一年，DALL-E的升級版來了！

當地時間4月6日，人工智能研究機構OpenAI發布DALL-E 2（文本到圖像生成程序）。DALL-E 2具有更高分辨率和更低延遲，精确度改善了71.7%，寫實度改善了88.8%，解析度更是原本的4倍，還可結合概念、屬性及風格打造更生動的圖像，如以莫奈（Claude Monet）的風格畫出草原上的狐狸。

同時新增兩大功能：更細顆粒度的文字局部修改圖像，以及生成原圖的多重風格變體。

前者比如這樣！

在原圖的2區域增加一個火烈鳥遊泳圈

上下分别為在原圖的1區域和2區域增加一個小狗

DALL-E 2在更細的層面上應用DALL-E的文本到圖像的能力。用戶可以從現有的圖片開始，選擇一個區域，并告訴模型如何來修改它。模型可以填充（或删除）物體，同時考慮到陰影方向、反射與質地等細節。

後者比如這樣！

以同一張圖像為基準，建立不同風格或編排的版本。

生成的圖片是1024 x 1024像素，比原始模型提供的256 x 256像素有了飛躍

DALL-E的名稱來自于藝術家薩爾瓦多·達利（Salvador Dalí）和《機器人總動員》的主角WALL-E，第一版于2021年1月首次亮相。DALL-E奠基在具備1750億個參數的GPT-3模型上，但它僅使用120億個參數，利用一個文字與圖像配對的資料集，以文字叙述來産生圖像。

薩爾瓦多·達利（Salvador Dalí）

《機器人總動員》的主角 機器人WALL-E（瓦力）

OpenAI研究科學家Prafulla Dhariwal表示：“DALL-E 1隻是從語言中采用了GPT-3方法，并将其應用于生成圖像：我們将圖像壓縮成一系列單詞，然後學會預測接下來的内容”。

但是單詞匹配并不一定能捕捉到人類認可的重點，而且預測過程限制了圖像的真實性。于是用CLIP（OpenAI去年發布的計算機視覺系統）來觀察圖像，并以人類的方式總結它們的内容。

DALL-E系統根據文字“牛油果型的扶手椅”自動創作的部分圖像

CLIP是原版DALL·E功能實現的基礎，DALL-E 2則結合了CLIP和擴散模型兩種技術的優點。DALL·E圖像生成的“擴散”（diffusion）過程可以理解為從“一堆點”出發，用越來越多的細節把圖像填充完整。擴散模型的特點在于，在犧牲多樣性的前提下，能大大提升生成圖像的逼真度。

DALL-E 2根據“Teddy bears mixing sparkling chemicals as mad scientists, steampunk.”描述生成的圖像

為避免生成的圖片被濫用，目前OpenAI已經實施了一些内置的保護措施。

該模型在已剔除不良數據的數據集上進行訓練，将由經過OpenAI審查的合作夥伴進行測試，用戶被禁止上傳或生成“非G級”和“可能造成傷害”的圖像，以及任何涉及仇恨符号、裸體、猥亵手勢，或“與正在發生的重大地緣政治事件有關的重大陰謀或事件”的圖像。

該模型也無法根據姓名生成任何可識别的人臉，即使要求的是“蒙娜麗莎”之類的内容。同時，DALL·E 2 在生成的圖片上都标有水印，以表明該作品是 AI 生成的。理想情況下這些措施可以限制其産生不良内容的能力。

與之前一樣，該工具并未直接向公衆發布。但研究人員可以提交申請預覽該系統，OpenAI希望以後将DALL·E 2納入該組織的API工具集中，使其可用于第三方應用程序。

Dhariwal說道，“我們希望分階段進行這個過程，以從獲得的反饋中不斷評估如何安全地發布這項技術。”

責任編輯：李躍群

校對：栾夢

更多精彩资讯请关注tft每日頭條，我们将持续为您更新最新资讯!