В рамките на своя неголям любителски проект аз проведох някои експерименти с невронните мрежи AI Gigapixel за подобряване резолюцията на един от моите любими научно фантастични сериали Star Trek: Deep Space Nine (DS9) или „Стар Трек: Космическа станция 9„.
Какво предлага Deep Space Nine
Точно както във Final Fantasy 7, където повишавам мащаба и резолюцията на фоновете, текстурите и видеата в мода Remako, реших да направя същото и със сериите на „Стар Трек: Космическа станция 9“, за които не се предвижда HD версия. Популярните Original Series и The Next Generation (TNG) са заснети предимно на филмова лента, но DS9 е заснет в средата на 90-те години в цифров формат, с използването на най-различни визуални ефекти – космически баталии и т.н.
Аналоговата лента може да бъде сканирана с по-висока резолюция, но с цифровото видео това няма как да стане. Ремастерингът на оригинала е твърде скъп и може да се каже икономически неизгоден. Това е и основната причина да не бъде направена HD версия на сериала.
Ремастеринг на „Стар Трек: Космическа станция 9“ с помощта на машинно обучение
Реших че в този случай е удачно да се използват невронни мрежи. С помощта на софтуерни инструменти от рода на AI Gigapixel, кадрите с ниска резолюция на „Стар Трек: Космическа станция 9“ (DS9) могат да се мащабират до много по-висока разделителна способност – до 1080р и дори 4К. Те едва ли могат да се сравнят с професионалния ремастеринг, но това е едно добро начало.
Пробвах какво ще се получи при два-три кадъра. Резултатите се оказаха великолепни. AI Gigapixel използва невронни мрежи, тренирани с помощта на реални снимки и са подходящи за ъпскейл на игрите Final Fantasy. Оказа се, че те с удивително добро качество мащабират резолюцията на на кадрите на DS9.
Ето няколко примера:
Резултатите, постигнати с тези кадри изглеждат многообещаващо. В първия кадър изображенията на обслужващия персонал, облечен в скафандри, изглежда като няколко неясни петна. Но след ъпскейла се появиха много по ясни фигури.
Във втория кадър изображението на ръката, показано на преден план, също е подобрено. Бръчките и гънките на кожата са по-детайлни, а бейзболната топка блести по-естествено и по-добре се виждат специфичните шевове.
Видеото
Но истинската проверка е да погледнем как се справя невронната мрежа с поредица от кадри – тоест, с видео. Дали няма да се появят артефакти и други проблеми? В края на краищата AI Gigapixel е създадена за ъпскейл на отделни изображения и не отчита връзката между отделните последователни кадри на видеото.
Реших да проверя какво ще стане, след като обработя част от епизода „Жертва на ангелите“ (Sacrifice of Angels) от шести сезон. Това е отличен епизод за войната на Доминиона, в който има както епични сражения, така и по-лични моменти лице в лице.
По-подробно ще се спра в следващите статии, но накратко мога да кажа следното. Извличането и и мащабирането на кадрите с по-висока резолюция отне около 2 дни. Генерирането на видео с по-висока резолюция от тяхната, отне още 2 дни. Обработих само първите пет минути на епизода и считам, че това е нормално време за моя персонален компютър от среден клас с обикновен хардуер, без използването на специализирано програмно осигуряване.
Резултатът ме изпълни с благоговеен трепет и възхищение. Всичко се получи далеч по-добре, отколкото се надявах. Никакви проблеми, никакви артефакти. И понеже да видиш е далеч по-добре, отколкото са прочетеш хиляди думи, ето два видеоклипа за сравнение.
Първият демонстрира технологията при използването на неподвижни кадри. Показани са изображенията преди и след ъпскейла.
Вторият сравнява двете видеа. Обърнете внимание, колко по-детайлно изглежда подобрената версия.
Настоятелно препоръчвам гледането на тези видеа с помощта на приложението YouTube на голям екран на съвременен телевизор. Усещането е, че се гледа значително подобрена версия на DS9 директно на телевизора.
Сравненията са интересни, но как изглежда подобреното видео? Ето ги първите пет минути от епизода с 1080р резолюция:
Какво се получава при 4К резолюция
Да си кажа честно, не зная. Мога да увелича мащаба до 4К, но нямам телевизор и монитор с подобна разделителна способност, за да мога със сигурност да проверя какво се е получило. Но въпреки това, записах видеото. Наистина ми е интересно да чуя мненията на хората, които имат 4К техника. Любопитно ми е, дали 4К версията изглежда по-добре от 1080р.
4К рендирането почти разтопи моя компютър, понеже е много по-интензивно в сравнение с 4К. Ето защо се ограничавам само до този 4К откъс:
Какво следва?
Тъй като нямам правата за DS9, не мога да правя каквото си поискам със сериала. Бих направил ремастеринг на всичките епизоди, но това е юридически невъзможно. Тези видеа са по-скоро доказателство за концепцията, че е възможно използването на невронни мрежи за ремастеринг на сериала DS9, Това е един много добър начин да приближим този интересен филм към HD епохата.
Представете си, какво би могъл да направи професионален екип с мощно компютърно оборудване и специално обучени невронни мрежи, който използва оригиналните SD източници, вместо DVDRip-а, който използвах аз.
А аз от своя страна мога най-подробно да обясня за процеса на ъпскейла и как протече всичко. Но тава ще стане в следващата статия.
Какво мислите за всичко това?
