• About
  • Policies
  • What is open access
  • Library
  • Contact
Advanced search
      View Item 
      •   BUIR Home
      • Scholarly Publications
      • Faculty of Engineering
      • Department of Computer Engineering
      • View Item
      •   BUIR Home
      • Scholarly Publications
      • Faculty of Engineering
      • Department of Computer Engineering
      • View Item
      JavaScript is disabled for your browser. Some features of this site may not work without it.

      Face inpainting with pre-trained image transformers

      Thumbnail
      View / Download
      2.2 Mb
      Author(s)
      Gönç, Kaan
      Sağlam, Baturay
      Kozat, Süleyman S.
      Dibeklioğlu, Hamdi
      Date
      2022-08-29
      Source Title
      Signal Processing and Communications Applications Conference (SIU)
      Print ISSN
      2165-0608
      Publisher
      IEEE
      Pages
      [1] - [4]
      Language
      Turkish
      Type
      Conference Paper
      Item Usage Stats
      24
      views
      10
      downloads
      Abstract
      Image inpainting is an underdetermined inverse problem that allows various contents to fill in the missing or damaged regions realistically. Convolutional neural networks (CNNs) are commonly used to create aesthetically pleasing content, yet CNNs have restricted perception fields for collecting global characteristics. Transformers enable long-range relationships to be modeled and different content generated with autoregressive modeling of pixel-sequence distributions using image-level attention mechanism. However, the current approaches to inpainting with transformers are limited to task-specific datasets and require larger-scale data. We introduce an approach to image inpainting by leveraging pre-trained vision transformers to remedy this issue. Experiments show that our approach can outperform CNN-based approaches and have a remarkable performance closer to the task-specific transformer methods.
       
      Görüntü yamalama, bir görüntüdeki çeşitli içeriklerin eksik veya hasarlı bölgelerini gerçekçi bir şekilde doldurulmasına izin veren, belirsiz bir ters problemdir. Evrişimli Sinir Ağları (ESA veya Convolutional Neural Networks) estetik açıdan hoş içerik oluşturmak için yaygın olarak kullanılmaktadır ancak ESA’lar küresel özellikleri toplamak için sınırlı algı alanlarına sahiptir. Dönüştürücüler (Transformers), uzun menzilli ilişkilerin modellenmesini ve görüntü düzeyinde dikkat (attention) mekanizması kullanılarak piksel dizisi dağılımlarının otoregresif modellemesi ile farklı içeriklerin oluşturulmasını sağlamaktadır. Bununla birlikte, Dönüştürücülerle yamalamaya yönelik mevcut yaklaşımlar, göreve özgü veri kümeleriyle sınırlıdır ve daha büyük ölçekli veriler gerektirmektedir. Bu bildiri, bahsi geçen sorunu çözmek için önceden eğitilmiş görüntü Dönüştürücülerden yararlanarak görüntü yamalamaya bir yaklaşım getirmektedir. Gerçekleştirilen deneyler, yaklaşımımızın ESA tabanlı yaklaşımlardan daha iyi performans gösterebileceğini ve göreve özel Dönüştürücü bazlı yöntemlere daha yakın ve dikkate değer bir performansa sahip oldugunu belirtmektedir.
      Keywords
      Image inpainting
      Transformers
      Deep generative models
      Görüntü yamalama
      Dönüştürücüler
      Derin üretken modeller
      Permalink
      http://hdl.handle.net/11693/111229
      Published Version (Please cite this version)
      https://www.doi.org/10.1109/SIU55565.2022.9864676
      Collections
      • Department of Computer Engineering 1561
      • Department of Electrical and Electronics Engineering 4011
      Show full item record

      Browse

      All of BUIRCommunities & CollectionsTitlesAuthorsAdvisorsBy Issue DateKeywordsTypeDepartmentsCoursesThis CollectionTitlesAuthorsAdvisorsBy Issue DateKeywordsTypeDepartmentsCourses

      My Account

      Login

      Statistics

      View Usage StatisticsView Google Analytics Statistics

      Bilkent University

      If you have trouble accessing this page and need to request an alternate format, contact the site administrator. Phone: (312) 290 2976
      © Bilkent University - Library IT

      Contact Us | Send Feedback | Off-Campus Access | Admin | Privacy