QLBEANS – Tracking from Belgrade
Beberapa waktu lalu fxguide berkesempatan untuk melakukan interview dengan Bogdan Mihajlovid, CEO QLBEANS, sebuah studio spesialis camera dan object tracking di Belgrade, Serbia. Kali ini kita akan mengupas lebih dalam seputar bagaimana mereka menerapkan tracking yang akurat dan efektif.
QLBEANS sempat mengerjakan proyek Blackbird untuk GDC. Dari plate asli yang diambil oleh The Mill NY, mereka ingin menghilangkan bayangan yang ada pada tanah. QLBEANS membantu membersihkan bagian jalan, menghilangkan rambu dan tanaman yang mengganggu. Video demo untuk GDC ini dibuat dengan pipeline standard VFX. Untuk membuat shot tersebut dapat di compose bersama dengan shot mobil, studio the Mill menginginkan jalanan terbuka yang bersih tanpa mobil blackbird dan bayangan apapun. Selain itu, refleksi yang ada dalam shot asli juga harus dihilangkan agar tidak mempengaruhi refleksi mobil. Tanpa proses clean up, mobil dalam demo GDC tidak akan memiliki refleksi yang akurat.
(salah satu frame dalam presentasi GDC)
Belgrade adalah sebuah kota yang menjadi pusat infrastruktur dan telekomunikasi. Kota ini terletak agak jauh dari beberapa kota eropa besar lainnya. Ini merupakan tempat yang luar biasa untuk bekerja dan hidup menurut Mihajlovic. Bagi QLBEANS, Belgrade Serbia punya beberapa kelebihan yang signifikan, baik dari segi infrastruktur dan koneksi fiber optic dengan bandwidth 10 GB. “Dengan kecepatan jaringan seperti itu, kami bisa melakukan transfer file 4k atau 5k dengan lancar dan mudah”, jelas dia. Tidak hanya menerima proyek 3d tracking dan matchmove dari dalam negri, QLBEANS juga menerima dari berbagai studio di luar negri.
(Belgrade, Serbia)
FXG: Tools apa saja yang kalian gunakan, apakah ada tools yang kalian develop sendiri ?
BM: Semua artis di QLBEANS berasal dari background yang berbeda-beda. Dewasa ini Matchmoving merupakan salah satu elemen krusial bagi siapapun yang mengeluti bidang CG ataupun VFX, baik untuk sebuah live footage maupun gabungan 3d. Ada banyak software tracking canggih diluar sana, sepanjang berjalan-nya waktu software – software tersebut akan terus berkembang semakin canggih dan efisien. Beberapa alogaritma tracking bahkan juga di implementasikan di beberapa software lain. Untuk saat ini kami menggunakan software gabungan Syntheyes dan PFTrack untuk mendapatkan track utama dan solver-nya. Di akhir pipeline kerja kami, kami selalu menyelesaikan tracking kami dalam bentuk package 3d.
Kami menemukan banyak sekali tantangan dalam setiap shot yang kami kerjakan. Tracking dasar biasanya sudah dilakukan oleh klien kami dengan tools mereka sendiri. Ketika mereka punya problem pada tracking, biasanya mereka akan menyerahkan shot-nya pada kami. Kemampuan untuk mengerjakan animasi tradisional beserta pengetahuan akan ruang, gerakan kamera dan teknis merupakan hal yang sangat krusial. Kami juga membuat sendiri tools dan scripts untuk mempermudah pipeline kerja. Kami memiliki tools otomatis untuk scene dan animasi. Tools camera untuk panning dan zoom yang kami miliki juga lebih presisi dalam mengikuti posisi objek.
(Syntheyes sebuah software 3-D camera tracking)
FXG: Seberapa jauh kolaborasi kalian dengan Lidar Scans?
BM: Lidar adalah sebuah software 3d tracking yang bagus. terutama untuk nagian polygon dan point clouds terkadang bisa sangat padat sehingga sulit untuk kami track walaupun kedua hal tersebut sangat akurat. Sejauh ini kami benar-benar menyukai Lidar Scans ! Fitur Survey Tracker merupakan cara terbaik untuk melakukan proses match moving. Ketika anda mengetahui posisi pasti dari sebuah tracker 2d, biasanya solver matchmover akan secara otomotis memberikan solver yang sangat akurat. Model CAD yang kita gunakan untuk replacement mobil sudah sangat sesuai dengan hasil scan dari Lidar. Penting untuk bisa mendapatkan objek 3d yang akurat dalam proses pengerjaan tracking. Objek yang akurat dan survey data bisa membantu kami dalam menentukan lensa yang sesuai. Untuk bisa mendapatkan hasil scan dengan Lidar membutuhkan banyak biaya. Bahkan PH besar pun tidak sering menggunakan-nya. Di sisi lain photo scan merupakan cara lain yang efektif dan efisien ketika Lidar atau CAD bukan pilihan.
(Lidar Scanner, sebuah metode scanning menggunakan sensor laser)
FXG: Ketika anda menggunakan Lidar scan, adakah nasihat tentang bagaimana membuat hasil scan bisa berguna dalam pengerjaan tracking?
BM: Ini menjadi isu dalam setiap pengerjaan objek dan ruang, objek yang besar dan ruang yang besar tentu akan menghasilkan hasil scan dengan ukuran yang besar. Hal ini bisa menjadi keuntungan dan kekurangan apabila kita tidak bijak. Sebagai nasihat, cobalah mengambil hasil scan Lidar yang belum di clean up dan sudah di clean up yang akan kita gunakan nantinya sebagai perbandingan. Dalam file clean up terkadang kami melihat beberapa detail yang hilang, padahal hal itu bisa kita manfaatkan sebagai tracker atau alignment.
(Hasil scan menggunakan Lidar)
FXG: Kebanyakan hasil kerja kalian melibatkan beberapa footage yang terdistorsi oleh lensa kamera. Apakah kalian mendapatkan info tentang lensa, kamera atau bahkan script -nya?
BM: Untuk bisa mendapatkan script, terkadang tidak mudah. Kami biasanya hanya mendapatkan info umum seputar adegan yang ada dalam plate yang kita akan kerjakan. Info Lensa dan kamera bisa berguna apabila mereka secara akurat tersambung dengan plate (tertulis dalam script). Ukuran film gate yang digunakan pada kamera merupakan info kecil yang sangat krusial. Dengan penggunakan Arri camera hal ini menjadi mudah, berbeda dengan RED camera yang waktu set up -nya saja membutuhkan waktu lebih. Sebagai contoh, berapakah resolusinya, apakah di crop ?, dll. Beberapa poin penting lain seperti proses editing yang tertulis. Resolusi bawaan terkadang sering hilang dalam metadata ketika sebuah footage di transcode. Untuk kasus seperti ini, notes dari team editing sangat krusial. Jika semua material dan footage terorganisir dengan baik, tentu proses 3d tracking kami akan jauh lebih akurat.
FXG: Untuk pekerjaan object tracking, apakah kalian membuat model kalian sendiri? Terutama untuk model mobil.
BM: model CAD merupakan langkah terbaik dalam match moving dan object tracking. Walaupun kami tidak perlu melakukan tracking mobil dalam beberapa shot, sebuah model dapat berguna dalam mendeteksi setingan lensa yang digunakan. Geometri sangatlah penting dalam matchmoving. Untuk bisa mendefinisikan ruang dan lensa, kita perlu mengetahui setidaknya 3 variable, yakni (1) jarak antara kamera dan set. (2) tinggi sebuah objek dalam kamera + jarak objek tersebut dengan objek yang berada di belakang-nya. (3) tinggi objek yang paling belakang. Kami pikir pekerjaan match moving mirip seperti pekerjaan detektif. Memiliki berbagai ukuran dan foto dari sebuah set, sangat membantu kami untuk membuat kembali apa yang akan terjadi dalam sebuah shot.
(contoh camera tracking dan object tracking)
FXG: Apakah kalian mendapatkan clean source footage lengkap dengan metadata-nya atau hanya footage yang sudah di transcode tanpa metadata?
BM: Metadata biasanya sudah hilang karena proses transcode. Untuk beberapa studio yang lebih kecil, kami punya kesempatan untuk mendapatkan metadata sebuah footage. Kadang-kadang juga mereka menggunakan kamera lama yang tidak menampung informasi metadata, sehingga kami membutuhkan informasi lensa.
FXG: Apakah masih sulit untuk membuat solver dalam sebuah zoom in shot? Apa penyebabnya?
BM: Zoom shot sudah tidak sesulit dulu lagi. Sebuah zoom shot dapat merubah pivot kamera dan membuat efek paralax. Untuk membantu kami dalam membuat solver, kami membuthkan informasi grid lens yang sesuai dengan kamera yang digunakan. Zoom shot biasanya sangat kompleks untuk di tracking karena ada problem pada animasi yang terdistorsi. Apabila director menginginkan zoom biasanya kami akan meminta detail set shooting agar kami bisa mengukur semua aspek dalam shot tersebut. Untuk mengkombinasikan solver dan animasi buatan tangan kita perlu informasi yang sangat akurat dan teliti.
FXG: Apa yang bisa orang lakukan untuk mempermudah proses tracking dan menghasilkan tracker yang bagus?
BM: Ambil lebih banyak photo dan ukuran sebuah set, ikuti setiap kejadian dalam shot menggunakan lens gate dan value yang sesuai dengan production notes. Pastikan juga untuk mendapatkan ukuran antar objek, info kecil seperti ini nantinya akan sangat membantu untuk mempermudah proses solver. Apabila lens grid tidak tersedia, cobalah untuk menarik garis dari lensa kamera dengan objek yang pararel, seperti tembok, jendela ataupun pintu. Garis ini nantinya akan membantu kita dalam mengenali distorsi yang terjadi dalam shot.
FXG: Untuk pekerjaan yang kalian lakukan, biasanya dilakukan per shot atau per hari?
MG: Beberapa klien kami biasanya memberikan plate yang akan di track dengan bayaran harian. Beberapa klien lain-nya meminta quote untuk pengerjaan perhari dan perjam. Kami sangat terbuka dengan apapun yang klien butuhkan, termasuk dalam budgeting dan deadline pekerjaan, kami memastikan kedua-duanya dapat bekerja sesuai keinginan kedua belah pihak.
(QLBEANS Matchmove Showreel 2017)