Face inpainting with pre-trained image transformers
Date
2022-08-29Source Title
Signal Processing and Communications Applications Conference (SIU)
Print ISSN
2165-0608
Publisher
IEEE
Pages
[1] - [4]
Language
Turkish
Type
Conference PaperItem Usage Stats
24
views
views
10
downloads
downloads
Abstract
Image inpainting is an underdetermined inverse problem that allows various contents to fill in the missing or damaged regions realistically. Convolutional neural networks (CNNs) are commonly used to create aesthetically pleasing content, yet CNNs have restricted perception fields for collecting global characteristics. Transformers enable long-range relationships to be modeled and different content generated with autoregressive modeling of pixel-sequence distributions using image-level attention mechanism. However, the current approaches to inpainting with transformers are limited to task-specific datasets and require larger-scale data. We introduce an approach to image inpainting by leveraging pre-trained vision transformers to remedy this issue. Experiments show that our approach can outperform CNN-based approaches and have a remarkable performance closer to the task-specific transformer methods. Görüntü yamalama, bir görüntüdeki çeşitli içeriklerin eksik veya hasarlı bölgelerini gerçekçi bir şekilde doldurulmasına izin veren, belirsiz bir ters problemdir. Evrişimli
Sinir Ağları (ESA veya Convolutional Neural Networks) estetik
açıdan hoş içerik oluşturmak için yaygın olarak kullanılmaktadır ancak ESA’lar küresel özellikleri toplamak için sınırlı algı
alanlarına sahiptir. Dönüştürücüler (Transformers), uzun menzilli
ilişkilerin modellenmesini ve görüntü düzeyinde dikkat (attention)
mekanizması kullanılarak piksel dizisi dağılımlarının otoregresif
modellemesi ile farklı içeriklerin oluşturulmasını sağlamaktadır.
Bununla birlikte, Dönüştürücülerle yamalamaya yönelik mevcut
yaklaşımlar, göreve özgü veri kümeleriyle sınırlıdır ve daha
büyük ölçekli veriler gerektirmektedir. Bu bildiri, bahsi geçen
sorunu çözmek için önceden eğitilmiş görüntü Dönüştürücülerden
yararlanarak görüntü yamalamaya bir yaklaşım getirmektedir.
Gerçekleştirilen deneyler, yaklaşımımızın ESA tabanlı yaklaşımlardan daha iyi performans gösterebileceğini ve göreve özel Dönüştürücü bazlı yöntemlere daha yakın ve dikkate değer bir performansa sahip oldugunu belirtmektedir.
Keywords
Image inpaintingTransformers
Deep generative models
Görüntü yamalama
Dönüştürücüler
Derin üretken modeller