一種Android系統(tǒng)服務(wù)端、遠程桌面圖像重定向方法及系統(tǒng)技術(shù)方案

本發(fā)明專利技術(shù)公開了一種基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向系統(tǒng)，該系統(tǒng)包括：Android系統(tǒng)服務(wù)端和遠程桌面客戶端，其中，Android系統(tǒng)服務(wù)端包括：應(yīng)系統(tǒng)框架層的Audio?Finger進程、硬件抽象層的圖像硬件抽象層模塊以及系統(tǒng)框架層的遠程桌面服務(wù)端；遠程桌面客戶端包括：第二通信模塊和圖像顯示模塊，本發(fā)明專利技術(shù)還提供了一種利用該系統(tǒng)進行基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向方法，實現(xiàn)了系統(tǒng)分辨率動態(tài)控制和系統(tǒng)顯示圖像數(shù)據(jù)重定向兩種功能，滿足了遠程桌面環(huán)境下的圖像傳輸需求。

Android system service terminal and remote desktop image redirection method and system

The invention discloses a remote desktop image retargeting system Android resolution based on controllable, the system includes a Android server and remote desktop client, the Android server system includes: system framework layer Audio Finger process, the hardware abstraction layer of the image hardware abstraction layer module and system framework of Remote Desktop server remote desktop client; includes second communication module and image display module, the invention also provides a use of the system for remote desktop image retargeting method of Android system based on controllable resolution, realize the system resolution and dynamic control system shows two functions of image data redirection, meet the image transmission needs of remote desktop environment.

【技術(shù)實現(xiàn)步驟摘要】
一種Android系統(tǒng)服務(wù)端、遠程桌面圖像重定向方法及系統(tǒng)
本專利技術(shù)涉及通信
，尤其涉及一種Android系統(tǒng)服務(wù)端、遠程桌面圖像重定向方法及系統(tǒng)。
技術(shù)介紹
傳統(tǒng)的遠程桌面技術(shù)主要是基于Windows、Linux、MacOS等PC操作系統(tǒng)，然而隨著智能移動設(shè)備的大規(guī)模應(yīng)用、企業(yè)移動辦公的普及，基于移動操作系統(tǒng)如Android系統(tǒng)的遠程桌面有了越來越多的市場需求。相對于傳統(tǒng)的遠程桌面，基于Android系統(tǒng)的遠程桌面給用戶交付的是整個Android桌面，并且具有圖像、音頻、攝像頭等硬件設(shè)備的重定向功能。在Android系統(tǒng)中，桌面圖像是一項非常重要而又復雜的基礎(chǔ)功能，所以在Android遠程桌面環(huán)境中，圖像重定向的功能的完善程度決定了遠程桌面產(chǎn)品的成敗。其中圖像重定向部分可以細分為：系統(tǒng)顯示分辨率動態(tài)控制和桌面圖像數(shù)據(jù)重定向。系統(tǒng)顯示分辨率動態(tài)控制是指調(diào)整遠程桌面服務(wù)端Android系統(tǒng)顯示分辨率，相比較于Windows、Linux等傳統(tǒng)PC操作系統(tǒng)具備的系統(tǒng)分辨率動態(tài)控制功能，Android作為移動操作系統(tǒng)本不具備動態(tài)調(diào)整系統(tǒng)分辨率功能，但是遠程桌面方案需要實現(xiàn)分辨率可控的服務(wù)端Android系統(tǒng)；桌面圖像數(shù)據(jù)重定向是指拿到Android系統(tǒng)渲染出的圖像數(shù)據(jù)通過遠程桌面服務(wù)端軟件壓縮后發(fā)送到遠程桌面客戶端中，經(jīng)過解壓后在客戶端顯示遠程服務(wù)端桌面。Android系統(tǒng)現(xiàn)有可用的圖像重定向方案包括：截取開放圖形庫(OpenGraphicsLibrary，OpenGL)指令本地重繪系統(tǒng)桌面以獲取圖像數(shù)據(jù)，OpenGL是用于渲染2D、3D矢量圖形的跨語言、跨平臺的應(yīng)用程序編程接口(API)。這個接口由近350個不同的函數(shù)調(diào)用組成，用來從簡單的圖形比特繪制復雜的三維景象。通過訪問OpenGL接口可用讀取系統(tǒng)顯示圖像數(shù)據(jù)的RGBA分量，然后調(diào)用Android自帶的通用Bitmap對象可用獲取圖像數(shù)據(jù)。截取OpenGL指令本地重繪系統(tǒng)桌面方法時延較高、跨平臺能力差，主要表現(xiàn)在：一方面，需要重新渲染出與系統(tǒng)顯示桌面一致的圖像數(shù)據(jù)，這將增加圖像重定向時延；另一方面，相對于物理機，虛擬機對OpenGL支持較弱，此技術(shù)在虛擬機平臺上的支持有限。此外，本方法還不具備分辨率調(diào)整功能，僅僅是能夠獲取系統(tǒng)顯示圖像數(shù)據(jù)。Android系統(tǒng)現(xiàn)有可用的圖像重定向方案還包括：讀取幀緩沖(framebuffer)驅(qū)動內(nèi)的圖像數(shù)據(jù)。framebuffer是Linux為顯示設(shè)備提供的一個接口，把顯存抽象后的一種設(shè)備，他允許上層應(yīng)用程序在圖形模式下直接對顯示緩沖區(qū)進行讀寫操作。這種操作是抽象的、統(tǒng)一的。用戶不必關(guān)心物理顯存的位置、換頁機制等具體細節(jié)。這些都是由framebuffer設(shè)備驅(qū)動來完成的。Android使用Linux內(nèi)核，繼承了framebuffer顯示設(shè)備。獲取系統(tǒng)圖像數(shù)據(jù)可以先通過打開/dev/fb設(shè)備文件，用ioctrl操作取得當前顯示屏幕的參數(shù)，如屏幕分辨率，每個像素點的比特數(shù)；之后將屏幕緩沖區(qū)映射到用戶空間，映射后就可以直接讀寫屏幕緩沖區(qū)。但是該方法時延較大、數(shù)據(jù)不完整，主要是由于Android讀取驅(qū)動的framebuffer內(nèi)容的效率較低，在刷新比較快的時候，比如游戲畫面，可能會由于刷新問題只截取到系統(tǒng)桌面的半張圖或桌面圖像數(shù)據(jù)上下不匹配的問題，此外，該方法也不具備分辨率調(diào)整功能，僅僅是能夠獲取系統(tǒng)顯示圖像數(shù)據(jù)。這些技術(shù)方案中遠程桌面服務(wù)端基本都是間接獲取系統(tǒng)渲染好的圖像數(shù)據(jù)，不能直接參與系統(tǒng)圖像渲染、送顯過程，并且在基于Android系統(tǒng)的遠程桌面圖像重定向場景中并不適用，主要原因是并未為Android系統(tǒng)實現(xiàn)分辨率控制功能；通過間接獲取系統(tǒng)圖像數(shù)據(jù)將造成較大的顯示時延，會造成極差的用戶體驗。
技術(shù)實現(xiàn)思路
為解決在基于Android系統(tǒng)的遠程桌面環(huán)境中，服務(wù)端的系統(tǒng)顯示分辨率的動態(tài)控制和將服務(wù)端系統(tǒng)渲染出的圖像數(shù)據(jù)傳輸?shù)娇蛻舳说闹囟ㄏ騿栴}，本專利技術(shù)提出了一種Android系統(tǒng)服務(wù)端、遠程桌面圖像重定向方法及系統(tǒng)，實現(xiàn)了系統(tǒng)分辨率動態(tài)控制和系統(tǒng)顯示圖像數(shù)據(jù)重定向兩種功能，滿足遠程桌面環(huán)境下的圖像傳輸需求。本專利技術(shù)第一方面提供了一種Android系統(tǒng)服務(wù)端，應(yīng)用層、系統(tǒng)框架層、硬件抽象層以及內(nèi)核，其中：所述的系統(tǒng)框架層包括SurfaceFinger進程和遠程桌面服務(wù)端，其中，所述的SurfaceFinger進程用于獲取系統(tǒng)分辨率規(guī)格和渲染圖像數(shù)據(jù)，并將渲染得到的圖像數(shù)據(jù)推送至硬件抽象層的圖像硬件抽象層模塊；所述的遠程桌面服務(wù)端，負責與圖形服務(wù)模塊間進行通信，并管理與遠程桌面客戶端的連接，將接收到的圖像數(shù)據(jù)轉(zhuǎn)送至遠程桌面客戶端。所述的硬件抽象層包括圖像硬件抽象層模塊，所述的圖像硬件抽象層模塊用于設(shè)置自定義分辨率，對接收的圖像數(shù)據(jù)進行推送處理，并通過匿名共享內(nèi)存的方式與系統(tǒng)框架層的遠程桌面服務(wù)端進行進程間通信。所述的SurfaceFinger進程包括：服務(wù)初始化模塊，用于獲取設(shè)定的系統(tǒng)分辨率；系統(tǒng)顯示桌面渲染模塊，用于根據(jù)請求渲染出圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)推送至硬件抽象層的圖像硬件抽象層模塊。所述的圖像硬件抽象層模塊包括：系統(tǒng)分辨率設(shè)置模塊，用于在系統(tǒng)SurfaceFlinger進程初始化階段設(shè)置自定義分辨率，此分辨率規(guī)格與/dev/fb0設(shè)備規(guī)格相同或者不同；送顯模塊，用于接收SurfaceFlinger服務(wù)推送的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)推送至匿名共享內(nèi)存中，并且根據(jù)/dev/fb0的規(guī)格，將需要送顯的圖形數(shù)據(jù)轉(zhuǎn)換為與/dev/fb0相匹配的規(guī)格并推送至/dev/fb0；圖形服務(wù)模塊，由服務(wù)管理模塊與匿名共享內(nèi)存組成，其中：服務(wù)管理模塊，負責管理圖形服務(wù)模塊與遠程桌面服務(wù)端間的通信，并且在通信連接完成后創(chuàng)建匿名共享內(nèi)存以存放圖像數(shù)據(jù)。所述的遠程桌面服務(wù)端包括：圖像獲取模塊，用于讀取匿名共享內(nèi)存內(nèi)的圖像數(shù)據(jù)；連接管理模塊，用于管理通過網(wǎng)絡(luò)連接過來的客戶端，并負責管理遠程桌面服務(wù)端與圖形服務(wù)模塊間的通信；第一通信模塊，負責遠程桌面服務(wù)端和遠程桌面客戶端之間的網(wǎng)絡(luò)通信。本專利技術(shù)第二方面提供了一種基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向系統(tǒng)，包括：本專利技術(shù)第一方面提供的Android系統(tǒng)服務(wù)端和遠程桌面客戶端，其中，所述的遠程桌面客戶端包括：第二通信模塊，用于遠程桌面客戶端與遠程桌面服務(wù)端之間的網(wǎng)絡(luò)通信；圖像顯示模塊，用于將遠程服務(wù)端差分壓縮發(fā)送過來的圖像數(shù)據(jù)解壓并顯示。本專利技術(shù)第三方面提供了一種基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向方法，具體包括：系統(tǒng)分辨率動態(tài)控制：Android系統(tǒng)框架層中SurfaceFlinger進程啟動時，獲取系統(tǒng)分辨率規(guī)格，并將渲染出的圖像數(shù)據(jù)推送給圖像硬件抽象層，圖像硬件抽象層將接收的圖像數(shù)據(jù)推送至/dev/fb0設(shè)備或遠程桌面服務(wù)端；系統(tǒng)運行時，用戶利用圖像硬件抽象層中的系統(tǒng)分辨率設(shè)置模塊重新設(shè)置gralloc.mode.force屬性值，再重啟SurfaceFlinger進程以重新配置新的系統(tǒng)分辨率；圖像數(shù)據(jù)重定向：Android系統(tǒng)框架層中SurfaceFlinger進程向圖像硬件抽象層模塊推送渲染的圖像數(shù)據(jù)時，觸發(fā)建立圖像服務(wù)模塊于圖像硬件抽象層模塊內(nèi)，遠程桌面服務(wù)本文檔來自技高網(wǎng)...

【技術(shù)保護點】
一種Android系統(tǒng)服務(wù)端，包括：應(yīng)用層、系統(tǒng)框架層、硬件抽象層以及內(nèi)核，其特征在于，所述的系統(tǒng)框架層包括SurfaceFinger進程和遠程桌面服務(wù)端，其中，所述的SurfaceFinger進程用于獲取系統(tǒng)分辨率規(guī)格和渲染圖像數(shù)據(jù)，并將渲染得到的圖像數(shù)據(jù)推送至硬件抽象層的圖像硬件抽象層模塊；所述的遠程桌面服務(wù)端，負責與圖形服務(wù)模塊間進行通信，并管理與遠程桌面客戶端的連接，將接收到的圖像數(shù)據(jù)轉(zhuǎn)送至遠程桌面客戶端；所述的硬件抽象層包括圖像硬件抽象層模塊，所述的圖像硬件抽象層模塊用于設(shè)置自定義分辨率，對接收的圖像數(shù)據(jù)進行推送處理，并通過匿名共享內(nèi)存的方式與系統(tǒng)框架層的遠程桌面服務(wù)端進行進程間通信。

【技術(shù)特征摘要】
1.一種Android系統(tǒng)服務(wù)端，包括：應(yīng)用層、系統(tǒng)框架層、硬件抽象層以及內(nèi)核，其特征在于，所述的系統(tǒng)框架層包括SurfaceFinger進程和遠程桌面服務(wù)端，其中，所述的SurfaceFinger進程用于獲取系統(tǒng)分辨率規(guī)格和渲染圖像數(shù)據(jù)，并將渲染得到的圖像數(shù)據(jù)推送至硬件抽象層的圖像硬件抽象層模塊；所述的遠程桌面服務(wù)端，負責與圖形服務(wù)模塊間進行通信，并管理與遠程桌面客戶端的連接，將接收到的圖像數(shù)據(jù)轉(zhuǎn)送至遠程桌面客戶端；所述的硬件抽象層包括圖像硬件抽象層模塊，所述的圖像硬件抽象層模塊用于設(shè)置自定義分辨率，對接收的圖像數(shù)據(jù)進行推送處理，并通過匿名共享內(nèi)存的方式與系統(tǒng)框架層的遠程桌面服務(wù)端進行進程間通信。2.根據(jù)權(quán)利要求1所述的Android系統(tǒng)服務(wù)端，其特征在于，所述的SurfaceFinger進程包括：服務(wù)初始化模塊，用于獲取設(shè)定的系統(tǒng)分辨率；系統(tǒng)顯示桌面渲染模塊，用于根據(jù)請求渲染出圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)推送至硬件抽象層的圖像硬件抽象層模塊。3.根據(jù)權(quán)利要求1所述的Android系統(tǒng)服務(wù)端，其特征在于，所述的圖像硬件抽象層模塊包括：系統(tǒng)分辨率設(shè)置模塊，用于在系統(tǒng)SurfaceFlinger進程初始化階段設(shè)置自定義分辨率，此分辨率規(guī)格與/dev/fb0設(shè)備規(guī)格相同或者不同；送顯模塊，用于接收SurfaceFlinger服務(wù)推送的圖像數(shù)據(jù)，并將該圖像數(shù)據(jù)推送至匿名共享內(nèi)存中，并且根據(jù)/dev/fb0的規(guī)格，將需要送顯的圖形數(shù)據(jù)轉(zhuǎn)換為與/dev/fb0相匹配的規(guī)格并推送至/dev/fb0；圖形服務(wù)模塊，由服務(wù)管理模塊與匿名共享內(nèi)存組成，其中：服務(wù)管理模塊，負責管理圖形服務(wù)模塊與遠程桌面服務(wù)端間的通信，并且在通信連接完成后創(chuàng)建匿名共享內(nèi)存以存放圖像數(shù)據(jù)。4.根據(jù)權(quán)利要求1所述的Android系統(tǒng)服務(wù)端，其特征在于，所述的遠程桌面服務(wù)端包括：圖像獲取模塊，用于讀取匿名共享內(nèi)存內(nèi)的圖像數(shù)據(jù)；連接管理模塊，用于管理通過網(wǎng)絡(luò)連接過來的客戶端，并負責遠程桌面服務(wù)端與圖形服務(wù)模塊間的通信；第一通信模塊，負責遠程桌面服務(wù)端和遠程桌面客戶端之間的網(wǎng)絡(luò)通信。5.一種基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向系統(tǒng)，其特征在于，包括：如權(quán)利要求1～4所述的Android系統(tǒng)服務(wù)端和遠程桌面客戶端，所述的遠程桌面客戶端包括：第二通信模塊，用于遠程桌面客戶端與遠程桌面服務(wù)端之間的網(wǎng)絡(luò)通信；圖像顯示模塊，用于將遠程服務(wù)端差分壓縮發(fā)送過來的圖像數(shù)據(jù)解壓并顯示。6.一種應(yīng)用權(quán)利要求5所述系統(tǒng)的基于Android系統(tǒng)分辨率可控的遠程桌面圖像重定向方法，包括：系統(tǒng)分辨率動態(tài)控制：Android系統(tǒng)框架層中SurfaceFlinger進程啟動時，獲取系統(tǒng)分辨率規(guī)格，并將渲染出的圖像數(shù)據(jù)推送給圖像硬件抽象層，圖像硬件抽象層將接收的圖像數(shù)據(jù)推送至/dev/fb0設(shè)備或遠程桌面服務(wù)端；系統(tǒng)運行時，用戶利用圖像硬件抽象層中的系統(tǒng)分辨率設(shè)置模塊重新設(shè)置gralloc.mode.force屬性值，再重啟SurfaceFlinger進程以重新配置新的系統(tǒng)分辨率；圖像數(shù)據(jù)重定向：Android系統(tǒng)框架層中SurfaceFlinger進程向圖像硬件抽象層模塊推送渲染的圖像數(shù)據(jù)時，觸發(fā)建立圖像服務(wù)模塊于圖像硬件抽象層模塊內(nèi)，遠程桌面服務(wù)端連接圖像硬件抽象層模塊時，觸發(fā)建立一個匿名共享內(nèi)存于圖像服務(wù)模塊內(nèi)，當圖像數(shù)據(jù)被推送至圖像硬件抽象層模塊...

【專利技術(shù)屬性】
技術(shù)研發(fā)人員：王總輝，陳文智，姜鵬飛，蘇奎，張良，
申請(專利權(quán))人：浙江大學，
類型：發(fā)明
國別省市：浙江,33