本文简要介绍01年8月TIP录用论文“DeepLearning-basedForgeryAttackonDocumentImages”的主要工作。该论文通过基于深度学习的技术提出了一种低成本的文档图像编辑算法，并通过一套网络设计策略解决了现有文本编辑算法在复杂字符和复杂背景上进行文本编辑的局限性。文档编辑的实际效果如下：
Fig.1.Illustrationofthreetypesofdocumentimagesprocessedbytheproposeddocumentforgeryapproach(ForgeNet).Theeditedregionsareboxedoutinblue.
一、研究背景
由于全球新冠肺炎疫情的流行，电子商务和电子政务的应用中对在线文档认证的需求日益剧增。用户需要将文档（证书、成绩单、合同、证件等）的照片上传到各类网站以通过认证。然而，人们利用一些图像编辑工具或基于深度学习的技术，可对文档内容进行篡改。最近有研究表明，自然图像中的字符和单词可以用卷积神经网络[1]-[3]进行端到端的编辑。据我们所知，目前还没有关于上述基于深度学习的文本内容生成方案对文档图像安全的评估工作，但深度学习技术在文本图像编辑方面的发展已经对文档图像的安全构成了新威胁。此论文建立了一个基于深度学习的文档图像篡改网络，并攻击现有的文档图像认证系统，攻击模型如Fig.所示。Fig..Tworepresentativeforge-and-recaptureattackscenarios.(a)Theattackerscanshis/herownidentitydocumenttoobtainanidentitydocumentimageandforgesthedocumentofatargetidentitytoperformanimpersonateattack.(b)Theattackerstealsanidentitydocumentimageandforgehis/herowndocumenttoobtainunauthorizedaccess.
二、方法简述
Fig.3.Overviewoftheproposeddocumentforgeryapproach.Aforge-and-recaptureattackisperformedonacaptureddocumentimage.文档伪造攻击分为伪造（通过该论文提出的深度网络ForgeNet，网络框架见Fig.3）和翻拍两个步骤。在伪造过程中，由成像设备获取的文档图像作为ForgeNet的输入。它被分为三个区域，即文本区域、图像区域和背景区域（不包括在前两类中的区域）。背景区域由反半色调模块（IHNet）处理，用以去除打印图像中的半色调点。图像区域中的原始照片被目标照片所取代，所得图像被输入到打印和扫描预补偿模块（PCNet）和IHNet。值得注意的是，PCNet引入颜色失真，并在编辑过的区域引入半色调图案，这样就可以补偿编辑过的区域和背景区域之间的差异。文本区域随后被输入到文本编辑模块（TENet）、PCNet和IHNet。经伪造网络处理后，这三个区域被拼接在一起，形成一个完整的文档图像。最后，伪造的文档图像由相机或扫描仪进行翻拍，完成伪造和翻拍攻击。
Fig.4.TheframeworkofTENet.Itcontainsthreesubnets:backgroundinpaintingsubnet,textconversionsubnetandfusionsubnet.Thebackgroundinpaintingsubnetgeneratesa