Shap-E — генерація 3D об’єктів за текстовим запитом

OpenAI, компанія, що займається дослідженням та впровадженням штучного інтелекту, а також є розробником таких успішних інструментів, як ChatGPT, DALL-E, Point-E представила публіці новий інструмент на базі ШІ — Shap-E, свою останню інноваційну модель для створення 3D.

Що таке Shap-E від OpenAI?

У травні 2023 року дослідники компанії OpenAI, Алекс Ніколл і Хівон Джун, опублікували статтю, в якій анонсували Shap-E. Shap-E — це новий AI інструмент, навчений на великому наборі даних, здатний генерувати 3D-моделі на основі текстових підказок чи зображень. Інструмент дуже схожий на DALL-E, для генерації 2D-зображень, тільки для 3D-ресурсів.

https://github.com/openai/shap-e

Shap-E перетворює текстові описи на 3D-моделі, де ви можете вказати детальні характеристики об'єкта, такі як розмір, форма, матеріал, кольори тощо, за допомогою текстових інструкцій. Наприклад, ви можете написати "Створити червоний автомобіль з металевими обтічниками та шкіряним салоном". Інструмент також здатен генерувати 3D об’єкти на основі звичайних зображень, де як вхідні дані можна використати власні малюнки та фотографії.

Shap-E навчається на моделі умовної дифузії та 3D-картах активів. Відображення 3D-ресурсів означає, що програма вчиться пов’язувати текст або зображення з відповідними 3D-моделями з великого набору даних існуючих 3D-об’єктів. Модель умовної дифузії – це генеративна модель, яка починається з шумової версії цільового результату та поступово вдосконалює її, видаляючи шум і додаючи деталі.

Поєднуючи ці два компоненти, Shap-E може створювати реалістичні 3D-моделі, які відповідають введеному вами тексту чи зображенню, які можна переглядати під різними кутами й умовами освітлення.

Як користуватись Shap-E?

Shap-E не є продуктом для кінцевого користувача, як інші інструменти OpenAI, але його моделі та зразки доступні для завантаження на сторінці Shap-E GitHub.

Ви можете безплатно завантажити код Shap-E та встановити його за допомогою команди Python pip на своєму комп’ютері. Вам також знадобиться графічний процесор NVIDIA та високопродуктивний центральний процесор.

Після встановлення ви зможете відкривати 3D-зображення, створені в Microsoft Paint 3D, а також конвертувати зображення у файли STL, якщо бажаєте друкувати їх за допомогою 3D-принтерів. На сторінці Shap-E GitHub ви можете обговорити складні моменти та знайти розв'язання проблем, які вже раніше, до вас вирішували інші.

Коротка інструкція з використання:

1. Завантажте код Shap-E та встановіть його: Відвідайте сторінку Shap-E на GitHub і завантажте кодову базу. Ви можете встановити його за допомогою команди Python pip, яка дозволяє легко встановлювати пакети.
2. Підготуйте вхідні дані: Shap-E працює з текстовими описами або зображеннями. Якщо ви плануєте створювати 3D-моделі з тексту, напишіть короткий письмовий опис об'єкта або сцени, з якого ви хочете створити 3D-модель. Якщо ви використовуєте зображення, підготуйте зображення, яке буде використовуватись як вхідний матеріал.
3. Запустіть Shap-E: Запустіть код Shap-E на своєму комп'ютері, передавши йому вхідні дані.
4. Огляньте та експортуйте результати: після обробки вхідних даних Shap-E згенерує 3D-модель, яку ви зможете переглянути на своєму комп'ютері. Ви можете переміщатись та обертати модель для перегляду з різних ракурсів. Якщо ви задоволені результатом, експортуйте 3D-модель у потрібний формат для подальшого використання, наприклад, у програмі для 3D-моделювання або для друку на 3D-принтері.

Наразі Shap-E все ще знаходиться у стадії досліджень і розробки, тому його використання може потребувати попереднього ознайомлення з AI-технологіями та програмуванням. Ознайомтесь з документацією та прикладами на GiyHub, щоб краще розібратись з використанням.

Де використовувати Shap-E від OpenAI

Shap-E дозволяє візуалізувати складні ідеї за допомогою візуальних зображень. Потенційні можливості застосування цієї технології безмежні, особливо враховуючи, що візуальні ефекти часто мають набагато більший вплив, ніж самі тексти.

Геймери та аніматори можуть створювати детальні 3D-об’єкти та персонажів для ігор. У інженерії ви зможете описувати компоненти, специфікації, функції машин, обладнання та отримувати результати у вигляді 3D-моделей перед створенням фізичних прототипів. У галузі архітектури розробляйте 3D-моделі будівель. У сфері освіти як освіта викладачі зможуть донести до учнів складні та абстрактні ідеї з таких предметів, як біологія, геометрія та фізика.

Поки ці приклади є можливими варіаціями подальшого розвитку технології за словами дослідників у Open AI. Наразі інструмент не здатен генерувати складні моделі, тим паче для подальшого редагування в інших редакторах. Але команда націлена на подальший розвиток та вдосконалення алгоритмів.

Хоч робота над Shap-E все ще триває, команда OpenAI вже перевершила свою минулу розробку POINT-E, що створює площини точок для подальшого створення 3D. POINT-E, на відміну від Shap-E, має обмежену виразність та роздільну здатність, а також часто генерує розмиті чи неповні результати.

Висновки

Shap-E — це демонстрація можливостей штучного інтелекту у створенні 3D-вмісту за допомогою природної мови та зображень. З його допомогою ви можете створювати 3D-об’єкти для комп’ютерних ігор чи прототипів. Хоч ми поки не маємо жодних гарантій щодо якості генерованих результатів, модель штучного інтелекту є значним внеском у сферу глибокого навчання та, ймовірно, призведе до майбутніх інноваційних технологій.

На даному етапі, інструмент чудово підійде для створення базових 3D моделей, без великої кількості деталей та специфікацій. Також інструмент не має зручної програми чи додатку. Для того, щоб користуватись функціоналом необхідно мати базові навички програмування та самостійно завантажувати й інтегрувати код.

https://github.com/openai/shap-e