GRJointNET: 3B eksik nokta bulutları için sinerjistik tamamlama ve parça bölütleme

Abstract

Üç boyutlu (3B) nokta bulutları üzerinde bölütleme yapmak, otonom sistemler için önemli ve gerekli bir işlemdir. Bölütleme algoritmalarının başarısı, üzerinde işlem yapılan nokta bulutlarının niteliğine (çözünürlük, tamlık vb.) bağlıdır. Dolayısıyla, nokta bulutundaki mevcut eksiklikler, nokta bulutu tabanlı uygulamaların başarısını düşürmektedir. Bu konuda, güncel bir çalısma olan GRNet, eksik nokta bulutlarını tamamlamaya odaklanan başarılı bir algoritmadır, ancak bölütleme yeteneği yoktur. Biz bu çalışmada, GRNet üzerine geliştirdigimiz derin öğrenme tabanlı GRJointNet algoritmasını sunmaktayız. GRJointNet hem bir nokta bulutundaki eksik noktaları tamamlamakta, hem de onun yapamadığı parça bölütlemesini de yapmaktadır. Bu işlemler elde ettikleri verileri birbirlerini desteklemek için kullanmaktadır. ShapeNet-Part veri kümesinde yapılmış deneylerimiz, GRJointNet algoritmasının nokta bulutu tamamlamada GRNet’den daha başarılı olduğunu göstermektedir. Aynı zamanda, GRNet bölütleme yapamazken, GRJointNet bu özelliği de kazanmıştır. Dolayısıyla bu çalışma nokta bulutlarının 3B bilgisayarlı görüde kullanışlılığını arttırmak adına umut vadetmektedir.

Segmentation of three-dimensional (3D) point clouds is an important task for autonomous systems. However, success of segmentation algorithms depends greatly on the quality of the underlying point clouds (resolution, completeness etc.). In particular, incomplete point clouds might reduce a downstream model’s performance. GRNet is proposed as a novel and recent deep solution to complete incomplete point clouds, but it is not capable of part segmentation. On the other hand, our proposed solution, GRJointNet, is an architecture that can perform joint completion and segmentation on point clouds as a successor of GRNet. Features extracted for the two tasks are also utilized by each other to increase the overall performance. We evaluated our proposed network on the ShapeNet-Part dataset and compared its performance to GRNet. Our results demonstrate GRJointNet outperforms GRNet on point completion. It should also be noted that GRNet is not capable of segmentation while GRJointNet is. This study therefore holds a promise to enhance practicality and utility of point clouds for 3D vision for autonomous systems.