本發(fā)明專利技術(shù)公布了一種基于多邊形檢測的漫畫圖像版面理解系統(tǒng)和方法。該方法可以自動識別出組成分鏡邊框的多邊形，并且根據(jù)識別出的多邊形之間的幾何位置關(guān)系判斷分鏡之間的閱讀順序，從而完成漫畫版面理解。通過對于用戶輸入的漫畫圖像進行自動分析，從而獲取漫畫版面中的分鏡，并且根據(jù)識別的分鏡之間的幾何位置關(guān)系判定其閱讀順序，從而使得漫畫圖像能更好地在移動設(shè)備上閱讀。該方法能夠自動理解漫畫版面，解決了目前方法不能處理復雜布局版面的問題，可以提升處理效率和用戶體驗。
【技術(shù)實現(xiàn)步驟摘要】
本專利技術(shù)屬于文檔處理與計算機視覺領(lǐng)域，涉及。
技術(shù)介紹
隨著電子書，電子報紙期刊等數(shù)字出版物的普及與發(fā)展，為當前數(shù)字出版相關(guān)技術(shù)提出了許多應用需求和挑戰(zhàn)。漫畫是一類特殊的出版物，通常由簡單幽默的畫面組和少量文字組成，深受不同國界不同年齡段的閱讀者喜愛，并且越來越多的讀者開始在數(shù)字終端上閱讀電子漫畫文檔。目前這類電子漫畫文檔通常由紙質(zhì)漫畫書籍逐頁掃描得到，直接以圖像文檔格式或者將圖像轉(zhuǎn)化為PDF文檔格式進行存儲和顯示。一幅漫畫圖像可以被分成若干個獨立的子圖像(每個多邊形邊框以及包圍的部 分)。在漫畫制作領(lǐng)域，這些獨立的子圖像常常被稱為“分鏡”，由兩部分組成1)角色的畫面展示，對應于子圖像中的圖像內(nèi)容部分；2)角色的語言展示即對白，即子圖像中的字符塊部分。目前漫畫書籍在創(chuàng)作時是以普通紙質(zhì)書籍的頁面大小進行排版設(shè)計的。這樣導致了一個問題，當用戶在屏幕較小的終端(例如智能手機)上閱讀對應的漫畫圖像時，無法完整清晰地觀看整個漫畫圖像，需要上下左右來回拖動畫面，閱讀體驗非常差，這一問題嚴重制約了漫畫產(chǎn)業(yè)數(shù)字化進程。為了克服上述的問題，相關(guān)的解決方案在文獻“M. Yamada et al. ComicImageDecomposition for Reading Comics on Cellular Phones.1EEE Trans.oninformation and systems, 2004”中第一次被提出，該方案是將漫畫圖像預先分割成一個個分鏡，在顯示時按閱讀順序依次顯示各個分鏡。針對第二種解決方案，一些研究人員對使用計算機自動完成上述任務(wù)(下文簡稱為漫畫圖像版面理解)進行了嘗試，上述文獻在提出第二種方案的同時，還提出了一種對手工分割得到的分鏡進行分鏡閱讀順序檢測的算法。然而，該方法局限性在于必須對于漫畫版面進行手動的分割然后才能自動辨識分鏡的閱讀順序，對于目前大量的漫畫書籍和圖像文件，手工完成上述工作費時費力。文獻“T. Tanaka et al. Layout analysis of tree-structuredscene frames in comic images.1JCAI，2007”首次提出了一種將漫畫圖像分割成分鏡的方法(下文簡稱為分鏡分割方法)。該方法的基本假設(shè)是漫畫總是能夠用水平線和豎直線分割成一個個分鏡(斜線可以按照斜率分為水平和豎直兩種)，按照分割的次序，漫畫可以表示成一個樹狀的結(jié)構(gòu)，其中根節(jié)點就代表整幅漫畫，葉子節(jié)點就表示各個分鏡，中間節(jié)點表示分割的方式。該文獻同時提出了一種類似霍夫變換的分割線檢測方法，并且對T字型分割線進行了特殊的處理。不難看出，這種方法的局限性較大，只能處理特定版式的漫畫圖像，對于分鏡之間存在粘連的復雜情況難以進行處理。文獻“C. Ponsard et al. Enhancing the accessibility for allofdigital comic books, www. eminds. hc1-rg. com, 2009” 提出了一種基于分水嶺分割算法的分鏡分割算法，主要思想是將漫畫圖像轉(zhuǎn)為灰度圖像進行二值化，然后對得到的前景圖像進行分水嶺分割，對分割得到的區(qū)域，去掉較小的，合并重疊較大的，然后得到分鏡的分割結(jié)果。然而，該方法同樣無法處理分鏡之間有粘連的復雜漫畫圖像。可見，目前的漫畫版面分析方法大多數(shù)方法只能處理較為簡單的漫畫版面，有些甚至必須依賴手工處理，而沒有一種高效、通用的漫畫圖像版面理解方法。
技術(shù)實現(xiàn)思路
為了實現(xiàn)高效通用的漫畫版面分析，本專利技術(shù)提出一種基于多邊形檢測的漫畫圖像理解方法，該方法可以自動識別出組成分鏡邊框的多邊形(大多數(shù)為四邊形)，并且根據(jù)識別出的多邊形之間的幾何位置關(guān)系判斷分鏡之間的閱讀順序，從而完成漫畫版面理解。本專利技術(shù)可以提供一種高效通用的漫畫版面分析方法，可以有效地處理較為復雜的漫畫版面。本專利技術(shù)所述的漫畫內(nèi)容主要是由漫畫書逐頁掃描得到的漫畫圖像或由漫畫出版商提供的圖像格式的漫畫包。本專利技術(shù)提供的技術(shù)方案如下一種基于多邊形檢測的漫畫圖像版面理解系統(tǒng)(如圖1)，包括直線段檢測模塊、多邊形檢測模塊；其中，所述直線段檢測模塊，用于識別漫畫圖像中的直線段，并且記錄這些直線段的位置信息；所述多邊形檢測模塊，根據(jù)直線段檢測模塊檢測的結(jié)果，對直線段進行拼接，識別出完整的多邊形，并且用識別出的多邊形作為對應分鏡的位置信息；該模塊和直線段檢測模塊共同完成分鏡的識別與提取。所述的漫畫圖像版面理解系統(tǒng)，其特征是，該系統(tǒng)還包括閱讀順序檢測模塊，該模塊以分鏡的識別與提取的結(jié)果作為輸入，即用被識別分割出的分鏡作為輸入，根據(jù)多邊形之間的幾何位置關(guān)系，將這些多邊形代表的分鏡進行排序，然后將排序后的分鏡連同各分鏡的位置信息一同輸入到具有版式信息的漫畫文件中去，從而實現(xiàn)漫畫版面的自動理解。所述的漫畫圖像版面理解系統(tǒng)，其特征是，所述系統(tǒng)還包括多邊形驗證模塊，如果用戶認為漫畫版面分割結(jié)果不理想，或者需要進行結(jié)果的修正，用戶使用該模塊進行修正。所述的漫畫圖像版面理解系統(tǒng)，其特征是，所述多邊形驗證模塊，可以通過設(shè)定規(guī)則篩選識別出的分鏡從而實現(xiàn)自動的多邊形驗證。所述的漫畫圖像版面理解系統(tǒng)，其特征是，所述多邊形驗證模塊，計算在分鏡邊框上的被檢測直線段長度之和與分鏡邊框周長的比例，如果大于50%，則通過篩選，否則未通過。本專利技術(shù)同時提供一種基于多邊形檢測的漫畫圖像版面理解方法(流程參見圖2)，包括如下步驟(I)漫畫圖像輸入用戶首先獲得圖像格式的漫畫電子文件(例如jpg、png等格式的文件)，這些文件是由紙質(zhì)漫畫逐頁掃描得到或是由漫畫出版商提供的圖像格式的漫畫包(將漫畫圖像逐頁編號并壓縮成為.zip，，rar等格式的壓縮文件包)，并且用戶將這些漫畫圖像逐頁輸入系統(tǒng)；(2)直線段檢測檢測出漫畫圖像中的直線段，這些直線段的大部分都是組成漫畫圖像中分鏡邊框的直線段；(3)多邊形檢測(直線拼接):在得到組成分鏡邊框的直線段之后，將這些直線段拼接成為完整的分鏡邊框；(4)分鏡閱讀順序檢測根據(jù)識別出的多邊形直線的幾何位置關(guān)系對分鏡進行排序;(5)返回版面理解結(jié)果將版面理解與分析得到的多邊形的幾何位置以及多邊形之間的閱讀順序作為版式信息存儲到漫畫文件中，并且通過閱讀終端展示給用戶。所述的漫畫圖像版面理解方法，其特征是，步驟(3)的實現(xiàn)方法如下a)第一輪直線段聚合去除直線檢測階段得到的冗余直線段，從而減少計算量；b)第二輪直線段聚合將屬于同一個分鏡邊框的直線段聚合，形成分鏡的包圍框；c)后處理由于有些漫畫的分鏡布局較為復雜，甚至產(chǎn)生粘連，因此由第二輪直線聚合產(chǎn)生的分鏡可能是破碎不完整的，因此，后處理階段將這些破碎的分鏡邊框通過一定的規(guī)則進行補全。本專利技術(shù)的效果在于實現(xiàn)了一種基于多邊形檢測的漫畫版面理解方法。通過對于用戶輸入的漫畫圖像進行自動分析，從而獲取漫畫版面中的分鏡，并且根據(jù)識別的分鏡之間的幾何位置關(guān)系判定其閱讀順序，從而使得漫畫圖像能更好地在移動設(shè)備上閱讀。該方法能夠自動理解漫畫版面，解決了目前方法不能處理復雜布局版面的問題，可以提升處理效率和用戶體驗。附圖說明圖1為本專利技術(shù)提供的系統(tǒng)結(jié)構(gòu)圖；圖2為本專利技術(shù)提供的最佳實施例的流程圖；圖3為具體實施方式中兩條直線段在平行方向有交疊的示意本文檔來自技高網(wǎng)...
【技術(shù)保護點】
一種基于多邊形檢測的漫畫圖像版面理解系統(tǒng)，其特征是，包括：直線段檢測模塊、多邊形檢測模塊；其中，所述直線段檢測模塊，用于識別漫畫圖像中的直線段，并且記錄這些直線段的位置信息；所述多邊形檢測模塊，根據(jù)直線段檢測模塊檢測的結(jié)果，對直線段進行拼接，識別出完整的多邊形，并且用識別出的多邊形作為對應分鏡的位置信息；該模塊和直線段檢測模塊共同完成分鏡的識別與提取。
【技術(shù)特征摘要】
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：李鹿原，王勇濤，湯幟，
申請(專利權(quán))人：北京大學，
類型：發(fā)明
國別省市：
還沒有人留言評論。發(fā)表了對其他瀏覽者有用的留言會獲得科技券。