Face inpainting with pre-trained image transformers

Abstract

Image inpainting is an underdetermined inverse problem that allows various contents to fill in the missing or damaged regions realistically. Convolutional neural networks (CNNs) are commonly used to create aesthetically pleasing content, yet CNNs have restricted perception fields for collecting global characteristics. Transformers enable long-range relationships to be modeled and different content generated with autoregressive modeling of pixel-sequence distributions using image-level attention mechanism. However, the current approaches to inpainting with transformers are limited to task-specific datasets and require larger-scale data. We introduce an approach to image inpainting by leveraging pre-trained vision transformers to remedy this issue. Experiments show that our approach can outperform CNN-based approaches and have a remarkable performance closer to the task-specific transformer methods.

Görüntü yamalama, bir görüntüdeki çeşitli içeriklerin eksik veya hasarlı bölgelerini gerçekçi bir şekilde doldurulmasına izin veren, belirsiz bir ters problemdir. Evrişimli Sinir Ağları (ESA veya Convolutional Neural Networks) estetik açıdan hoş içerik oluşturmak için yaygın olarak kullanılmaktadır ancak ESA’lar küresel özellikleri toplamak için sınırlı algı alanlarına sahiptir. Dönüştürücüler (Transformers), uzun menzilli ilişkilerin modellenmesini ve görüntü düzeyinde dikkat (attention) mekanizması kullanılarak piksel dizisi dağılımlarının otoregresif modellemesi ile farklı içeriklerin oluşturulmasını sağlamaktadır. Bununla birlikte, Dönüştürücülerle yamalamaya yönelik mevcut yaklaşımlar, göreve özgü veri kümeleriyle sınırlıdır ve daha büyük ölçekli veriler gerektirmektedir. Bu bildiri, bahsi geçen sorunu çözmek için önceden eğitilmiş görüntü Dönüştürücülerden yararlanarak görüntü yamalamaya bir yaklaşım getirmektedir. Gerçekleştirilen deneyler, yaklaşımımızın ESA tabanlı yaklaşımlardan daha iyi performans gösterebileceğini ve göreve özel Dönüştürücü bazlı yöntemlere daha yakın ve dikkate değer bir performansa sahip oldugunu belirtmektedir.