Face inpainting with pre-trained image transformers

Date
2022-08-29
Advisor
Supervisor
Co-Advisor
Co-Supervisor
Instructor
Source Title
Signal Processing and Communications Applications Conference (SIU)
Print ISSN
2165-0608
Electronic ISSN
Publisher
IEEE
Volume
Issue
Pages
[1] - [4]
Language
Turkish
Type
Conference Paper
Journal Title
Journal ISSN
Volume Title
Series
Abstract

Image inpainting is an underdetermined inverse problem that allows various contents to fill in the missing or damaged regions realistically. Convolutional neural networks (CNNs) are commonly used to create aesthetically pleasing content, yet CNNs have restricted perception fields for collecting global characteristics. Transformers enable long-range relationships to be modeled and different content generated with autoregressive modeling of pixel-sequence distributions using image-level attention mechanism. However, the current approaches to inpainting with transformers are limited to task-specific datasets and require larger-scale data. We introduce an approach to image inpainting by leveraging pre-trained vision transformers to remedy this issue. Experiments show that our approach can outperform CNN-based approaches and have a remarkable performance closer to the task-specific transformer methods.


Görüntü yamalama, bir görüntüdeki çeşitli içeriklerin eksik veya hasarlı bölgelerini gerçekçi bir şekilde doldurulmasına izin veren, belirsiz bir ters problemdir. Evrişimli Sinir Ağları (ESA veya Convolutional Neural Networks) estetik
açıdan hoş içerik oluşturmak için yaygın olarak kullanılmaktadır ancak ESA’lar küresel özellikleri toplamak için sınırlı algı alanlarına sahiptir. Dönüştürücüler (Transformers), uzun menzilli ilişkilerin modellenmesini ve görüntü düzeyinde dikkat (attention) mekanizması kullanılarak piksel dizisi dağılımlarının otoregresif modellemesi ile farklı içeriklerin oluşturulmasını sağlamaktadır.
Bununla birlikte, Dönüştürücülerle yamalamaya yönelik mevcut yaklaşımlar, göreve özgü veri kümeleriyle sınırlıdır ve daha büyük ölçekli veriler gerektirmektedir. Bu bildiri, bahsi geçen sorunu çözmek için önceden eğitilmiş görüntü Dönüştürücülerden
yararlanarak görüntü yamalamaya bir yaklaşım getirmektedir. Gerçekleştirilen deneyler, yaklaşımımızın ESA tabanlı yaklaşımlardan daha iyi performans gösterebileceğini ve göreve özel Dönüştürücü bazlı yöntemlere daha yakın ve dikkate değer bir performansa sahip oldugunu belirtmektedir.

Course
Other identifiers
Book Title
Keywords
Image inpainting, Transformers, Deep generative models, Görüntü yamalama, Dönüştürücüler, Derin üretken modeller
Citation
Published Version (Please cite this version)