Nvidia đã thực hiện một nỗ lực khác để thêm chiều sâu vào đồ họa nông cạn.
Sau khi chuyển đổi hình ảnh 2D thành cảnh, mô hình, và video, công ty đã chuyển sự chú ý của mình sang chỉnh sửa.
Ngày hôm nay, ông lớn GPU đã giới thiệu một phương pháp trí tuệ nhân tạo mới biến đổi ảnh tĩnh thành đối tượng 3D mà người sáng tạo có thể chỉnh sửa dễ dàng.
Được đặt tên là 3D MoMa, kỹ thuật này có thể mang lại cho các studio game một cách đơn giản để thay đổi hình ảnh và cảnh. Thông thường, điều này dựa vào phương pháp đo lường từ ảnh ảnh tốn thời gian, gọi là photogrammetry.
3D MoMa tăng tốc công việc thông qua quá trình rendering ngược. Phương pháp này sử dụng trí tuệ nhân tạo để ước lượng các thuộc tính vật lý của một cảnh — từ hình học đến ánh sáng — bằng cách phân tích các hình ảnh tĩnh. Sau đó, hình ảnh được tái tạo lại dưới dạng 3D có vẻ thực tế.
David Luebke, Phó Chủ tịch nghiên cứu đồ họa của Nvidia, mô tả kỹ thuật này như là “một chén thánh thống nhất thị giác máy tính và đồ họa máy tính.”
“Bằng cách xây dựng mỗi phần của vấn đề rendering ngược dưới dạng thành phần có thể khác biệt được tăng cường bằng GPU, đường ống rendering 3D MoMa của NVIDIA sử dụng cơ cấu của trí tuệ nhân tạo hiện đại và sức mạnh tính toán ng raw của GPU NVIDIA để nhanh chóng tạo ra đối tượng 3D mà người sáng tạo có thể nhập, chỉnh sửa và mở rộng mà không gặp bất kỳ hạn chế nào trong các công cụ hiện có,” Lubeke nói.
3D MoMa tạo ra đối tượng dưới dạng lưới tam giác — một định dạng dễ chỉnh sửa với các công cụ phổ biến. Mô hình được tạo ra trong vòng một giờ trên một GPU Tensor Core của NVIDIA.
Sau đó, vật liệu có thể được đặt lên lưới như là lớp da. Ánh sáng của cảnh cũng được dự đoán, cho phép người sáng tạo điều chỉnh ảnh hưởng của nó lên các đối tượng.
Triangle meshes define the shapes used in 3D graphics and modeling. Credit: Nvidia3D MoMa được trình bày tại Hội nghị Thị giác máy tính và Nhận biết Mẫu (CVPR) ở New Orleans. Tôn vinh đến nơi sinh của nhạc jazz, các nhà nghiên cứu Nvidia đã sử dụng kỹ thuật để hiển thị hình ảnh của thể loại âm nhạc.
Đội ngũ đầu tiên thu thập hàng trăm hình ảnh của kèn trumpet, kèn trombone, saxophone, trống, và clarinet. Tiếp theo, 3D MoMa tái tạo các hình ảnh thành biểu tượng 3D.
Sau đó, các nhạc cụ được chỉnh sửa và được trang bị vật liệu mới. Ví dụ, kèn trumpet đã được biến đổi từ nhựa rẻ tiền thành vàng lộng lẫy.
Các nhạc cụ vừa được chỉnh sửa sau đó sẵn sàng được đặt vào bất kỳ cảnh ảo nào. Nvidia đưa chúng vào một hộp Cornell, được sử dụng để kiểm tra chất lượng rendering.
Công ty cho biết tất cả các nhạc cụ phản ứng với ánh sáng như chúng sẽ trong thế giới thực, từ các nhạc cụ đồng bóng loáng đến lớp da trống hấp thụ ánh sáng.
Cuối cùng, các đối tượng 3D được render trong một cảnh hoạt hình.
3D MoMa vẫn đang được phát triển, nhưng Nvidia tin rằng nó có thể cho phép nhà phát triển game và các nhà thiết kế khác nhanh chóng chỉnh sửa các đối tượng 3D — và sau đó thêm chúng vào bất kỳ cảnh ảo nào.
Điều đó cũng có thể giúp giảm bớt quá trình biến đổi của chúng ta thành các hình thức siêu thực.
Bạn có thể đọc bài nghiên cứu đằng sau 3D MoMa tại đây.