Interaksi Hand Tracking Pada Objek Augmented Reality Menggunakan Unity

Abstract

Dengan memanfaatkan computer dapat membuat banyak produk berbasiskan teknologi salah satunya Augmented Reality. Pengolahan citra dilakukan pada proses pendekteksian gerakan tangan user, interaksi dari pengguna dengan objek virtual. Unity aplikasi pengembang game multiplatform untuk mempermudah penggunaannya. OpenCV library dari aplikasi unity perangkat lunak yang didedikasikan untuk pemrosesan animasi waktu nyata. Proses Hand tracking pertama segmentasi warna kulit dapat dideteksi menggunakan informasi dari tone warna, dimana frame yang di tangkap kamera kemudian mengkonversi warna tangan. Kemudian  countors yang menggabungkan semua titik kontur menganalisis bentuk dan deteksi objek dan pengenalan. Convex Hull digambarkan dalam sebuah bidang sebagai pencarian subset dari himpunan titik pada bidang tersebut sehingga membentuk polygon yang konveks. Convexity defects fitur dalam OpenCV yang bertujuan untuk menemukan defect antara convex hull yang terbentuk dengan kontur. Cosine theorem yang menentukan hubungan yang dimiliki oleh segitiga antara Panjang sisi dan sudut. Centroid  atau titik tengah telapak tangan dapat ditemukan setelah kita melakukan proses cosine theorem. Teknik pengujian dilakukan dengan menggunakan pengujian Black box dan white box. Setelah melakukan pengujian aplikasi, maka yang di peroleh pada aplikasi ini mampu mendeteksi tangan yang tampil dalam frame kamera dengan memanfaatkan library OpenCV dan menampilkan objek 3D.