用于圖像處理的設備和方法技術

提供一種用于圖像處理的設備和方法。建模單元可通過輸入彩色圖像和與所述輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的三維(3D)模型。計算器可基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并可用于產生包括通過將虛擬對象插入到3D模型而發生的彩色失真信息的差異圖像。渲染單元可通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

【技術實現步驟摘要】
用于圖像處理的設備和方法本申請要求于2011年6月14日提交到韓國知識產權局的第10-2011-0057471號韓國專利申請的優先權權益，所述申請的公開通過引用合并于此。
以下描述的示例性實施例涉及一種圖像處理設備和方法，更具體地講，涉及一種可通過在真實彩色圖像中包括虛擬對象來產生具有良好的真實性的真實彩色圖像的圖像處理設備和方法。
技術介紹
隨著使用計算機圖形學的電影技術的發展，用于合成真實彩色圖像和虛擬對象的圖像處理的必要性正在增加并且需要高質量的合成的結果圖像。然而，在傳統技術中，在真實彩色圖像中真實地表現虛擬對象方面存在一些限制。例如，由于缺乏關于真實彩色圖像之內的實際對象的信息，基于圖像的混合表現處理在真實地表現各種光學效果方面存在一些困難，其中，所述基于圖像的混合表現處理用于合成真實彩色圖像和針對虛擬對象預先被渲染的圖像。例如，被對象反射或折射的照明燈的效果可能使實際對象和虛擬對象不協調。
技術實現思路
通過提供一種圖像處理設備實現前述和/或其它方面，其中，所述圖像處理設備包括：建模單元，通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的三維(3D)模型；計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并產生差異圖像，其中，所述差異圖像包括通過將虛擬對象插入到3D模型而發生的彩色失真信息；渲染單元，用于通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。計算器可包括：照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖；材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生3D模型的材質圖。照明圖計算器可通過針對輸入深度圖像執行低帶通濾波和移動最小二乘(MLS)中的至少一個操作來去除輸入深度圖像的噪聲，并隨后可產生照明圖。照明圖計算器可假設作為所述至少一個操作產生的光滑表面點云為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖。計算器還可包括：發光圖計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并根據作為基于光子的渲染的結果的光子和反光子之間的差，產生3D模型的發光圖；差異圖像計算器，通過針對發光圖和材質圖執行按像素乘積操作來產生差異圖像。通過提供一種圖像處理設備實現前述和/或其它方面，所述圖像處理設備包括：建模單元，通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；計算器，產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得的，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得的；渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。圖像處理設備還可包括，其中，當第一圖像和第二圖像中的至少一個被渲染時，計算器使用基于光子的渲染、射線追蹤、光能傳遞處理中的至少一個。通過提供一種圖像處理設備實現前述和/或其它方面，所述圖像處理設備包括：照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行執行渲染，產生與輸入深度圖像相關的對象的照明圖；材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生對象的材質圖。通過提供一種圖像處理方法實現前述和/或其它方面，所述方法包括：通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生與實際對象對應的3D模型；基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，以產生包括通過將虛擬對象插入到3D模型發生的彩色失真信息的差異圖像；通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。通過提供一種圖像處理方法實現前述和/或其它方面，所述方法包括：通過輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得的，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得的；通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。示例實施例可還包括一種圖像處理設備和方法，該設備和方法在渲染虛擬對象被包括在實際對象的彩色圖像中的圖像時，可產生具有良好真實性的結果圖像。此外，相對于圖像處理資源，圖像處理的質量可被顯著地加強，并且可容易地基于光環境信息通過輸入彩色圖像和輸入深度圖像產生材質圖。實施例的另外方面將在下面的描述中被部分地闡明，通過描述該部分將是清楚的，或者可通過本公開的實施被獲知。附圖說明通過下面結合附圖進行的實施例的描述，這些和/或其他方面將會變得清楚并更容易理解，其中：圖1示出根據示例實施例的圖像處理設備；圖2示出包括在圖1的圖像處理設備中的計算器的配置；圖3示出根據示例實施例的輸入彩色圖像和輸入深度圖像；圖4示出根據示例實施例的虛擬對象；圖5示出根據示例實施例的執行基于光子的渲染的處理；圖6示出根據示例實施例的照明圖；圖7示出根據示例實施例的材質圖；圖8示出根據示例實施例的渲染結果圖像；圖9示出根據示例性實施例的圖像處理方法。具體實施方式現在將詳細參照實施例，其示例在附圖中示出，其中，相同的標號始終表示相同的部件。下面通過參照附圖來描述實施例以解釋本專利技術公開。圖1示出根據示例實施例的圖像處理設備100。圖像處理設備100的建模單元110可產生與輸入彩色圖像和輸入深度圖像對應的三維(3D)模型。輸入彩色圖像和輸入深度圖像可相互匹配。當輸入彩色圖像和輸入深度圖像不匹配時，預處理可被執行以匹配輸入彩色圖像和輸入深度圖像。圖像處理設備100可通過在3D模型中包括虛擬對象，真實地在輸入彩色圖像中包括虛擬對象。建模單元110可使用輸入彩色圖像和輸入深度圖像產生點云形式(pointcloudform)的3D模型。在一些實施例中，可在執行低通濾波和/或移動最小二乘(MLS)之后產生3D模型以去除輸入深度圖像的噪聲。點云形式的3D模型僅是一個示例，因此，可應用產生基于網格的3D模型等其它實施例。將參照圖3進一步描述建模單元110的操作。輸入到圖像處理設備100的信息可包括影響3D模型的光環境信息。光環境信息可包括當通過合成虛擬對象和3D模型執行渲染時將被考慮的光的位置、光的方向、光的能量等。圖像處理設備100的計算器120可使用輸入彩色圖像、輸入深度圖像和輸入光環境信息，計算在虛擬對象被考慮時和虛擬對象不被考慮時發生的色差(colordifference)。色差可被理解為包括針對每個像素的失真、顏色值的增加或減少。因為可針對組成整個彩色圖像的每個像素計算色差，所以包括這樣的色差信息的圖像可被稱為色差圖像或差異圖像。計算器120可通過針對組成輸入深度圖像每個像素假設均一材質(constantmaterial)，忽略材料紋理并隨后僅基于輸入光環境信息執行渲染，來產生與輸入深度圖像對應的照明圖。計算器120可通過針對輸入彩色圖像的照明圖執行按像素劃分操作，來產生與輸入彩色圖像之內的每個對象對應的材質圖。在示例實施例中，材質圖可包括紋理信息(textureinformation)(諸如，輸入彩色圖像之內的每個對象的顏色信息等)本文檔來自技高網...

【技術保護點】
一種圖像處理設備，包括：建模單元，使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像來產生與實際對象對應的三維(3D)模型；計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并產生差異圖像，其中，所述差異圖像包括通過將虛擬對象插入到3D模型而發生的顏色失真信息；渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。

【技術特征摘要】
2011.06.14 KR 10-2011-00574711.一種圖像處理設備，包括：建模單元，使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像來產生與實際對象對應的三維(3D)模型；計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，并使用發光圖產生差異圖像，其中，所述差異圖像包括通過將虛擬對象插入到3D模型而發生的顏色失真信息；渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。2.如權利要求1所述的圖像處理設備，其中，計算器包括：照明圖計算器，假設輸入深度圖像為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖；材質圖計算器，通過針對輸入彩色圖像的照明圖執行按像素劃分操作，產生3D模型的材質圖。3.如權利要求2所述的圖像處理設備，其中，照明圖計算器通過針對輸入深度圖像執行低帶通濾波和移動最小二乘MLS中的至少一個操作來去除輸入深度圖像中的噪聲，并隨后產生照明圖。4.如權利要求3所述的圖像處理設備，其中，照明圖計算器假設作為所述至少一個操作的結果而產生的光滑表面點云為均一材質，通過基于輸入光環境信息執行渲染來產生與實際對象對應的3D模型的照明圖。5.如權利要求2所述的圖像處理設備，其中，計算器還包括：發光圖計算器，基于輸入光環境信息針對輸入虛擬對象和3D模型執行基于光子的渲染，并根據作為基于光子的渲染的結果而計算出的光子和反光子之間的差，產生3D模型的發光圖；差異圖像計算器，通過針對發光圖和材質圖執行按像素乘積操作來產生差異圖像。6.一種圖像處理設備，包括：建模單元，使用輸入彩色圖像和與輸入彩色圖像對應的輸入深度圖像產生3D模型；計算器，產生包括通過將虛擬對象插入到3D模型而發生的照明差異的發光圖，并使用發光圖產生第一圖像和第二圖像之間的差異圖像，其中，第一圖像是通過基于輸入光環境信息以相機視圖渲染3D模型而獲得，第二圖像是通過基于輸入光環境信息以相機視圖渲染3D模型和輸入虛擬對象而獲得；渲染單元，通過合成差異圖像和輸入彩色圖像來產生包括虛擬對象的結果圖像。7.如權利要求6所述的圖像處理設備，其中，當第一圖像和第二圖像中的至少一個被渲染時，計算器使用基于光子的渲染、射線追蹤、光能傳遞處理中的至少一個。8.一種圖像處理設備，包括：照明圖計算器，假設輸入深...

【專利技術屬性】
技術研發人員：河仁友，李泰炫，
申請(專利權)人：三星電子株式會社，
類型：發明
國別省市：