本發(fā)明專利技術(shù)公開(kāi)了一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其包括：車輛行駛風(fēng)格層次預(yù)測(cè)模塊，用于根據(jù)目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合采用強(qiáng)化學(xué)習(xí)模型評(píng)估車輛的行駛風(fēng)格，獲得車輛的行駛風(fēng)格屬性，所述車輛的行駛風(fēng)格屬性用于評(píng)價(jià)車輛行駛平穩(wěn)或激進(jìn)的程度；車輛駕駛行為層次預(yù)測(cè)模塊，用于根據(jù)車輛行駛風(fēng)格層次預(yù)測(cè)模塊輸出的含有車輛的行駛風(fēng)格屬性的結(jié)構(gòu)化車輛信息，采用強(qiáng)化學(xué)習(xí)模型，預(yù)測(cè)特定車輛的加速比、以及變道到各車道的變道概率。本發(fā)明專利技術(shù)將復(fù)雜的交通流預(yù)測(cè)問(wèn)題分解為對(duì)駕駛員及車輛特性分布的預(yù)測(cè)及對(duì)車輛行為的預(yù)測(cè)這兩個(gè)層次，實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)特定路段和時(shí)段的交通流預(yù)測(cè)。和時(shí)段的交通流預(yù)測(cè)。和時(shí)段的交通流預(yù)測(cè)。
【技術(shù)實(shí)現(xiàn)步驟摘要】
一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)及方法
[0001]本專利技術(shù)屬于智能交通領(lǐng)域，更具體地，涉及一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)方法及系統(tǒng)。
技術(shù)介紹
[0002]交通流預(yù)測(cè)，通常可以分為宏觀和微觀兩種類型。宏觀模型將交通流視為由大量車構(gòu)成的連續(xù)流體，研究車輛集體的綜合平均行為如流量、流速等，其單個(gè)車輛的個(gè)體特性并不顯式出現(xiàn)。微觀方法則是集中于單個(gè)車輛在相互作用下的個(gè)體行為描述，通過(guò)跟車模型、變道模型等預(yù)測(cè)車輛行為，給出隨時(shí)間變化的車輛在行駛道路中的位置等信息。隨著自動(dòng)駕駛、智能信號(hào)燈決策等應(yīng)用場(chǎng)景的快速發(fā)展，對(duì)交通流預(yù)測(cè)的精準(zhǔn)程度提出了更高的要求。微觀模型相對(duì)宏觀模型能夠給出更豐富的信息，有利于智能交通和自動(dòng)駕駛等應(yīng)用更準(zhǔn)確的判斷交通路況。
[0003]然而，傳統(tǒng)微觀交通流預(yù)測(cè)方法通過(guò)對(duì)車輛行為進(jìn)行動(dòng)力學(xué)建模，往往不考慮車輛行駛風(fēng)格的差異，或簡(jiǎn)單的設(shè)定車輛行駛風(fēng)格為某種預(yù)定分布，通過(guò)調(diào)整模型公式的參數(shù)擬合真實(shí)路況。但不同國(guó)家和城市，乃至不同街區(qū)的車輛和駕駛員加速風(fēng)格都存在差異，難以用統(tǒng)一的分布或參數(shù)精準(zhǔn)預(yù)測(cè)。
[0004]人工智能和基于數(shù)據(jù)驅(qū)動(dòng)的機(jī)器學(xué)習(xí)方法的進(jìn)展，為更精準(zhǔn)的微觀交通流預(yù)測(cè)提供了新的可能。通過(guò)深度強(qiáng)化學(xué)習(xí)，使用本地真實(shí)交通流數(shù)據(jù)在模擬器中進(jìn)行訓(xùn)練，得到模型可用來(lái)進(jìn)行更符合真實(shí)交通流的預(yù)測(cè)。但現(xiàn)有深度強(qiáng)化學(xué)習(xí)方法通常簡(jiǎn)化了問(wèn)題，一方面，使用單一模型，既要模擬車輛運(yùn)動(dòng)行為(如跟車、變道)，又要體現(xiàn)不同車輛行駛風(fēng)格(如駕駛風(fēng)格激進(jìn)的車輛會(huì)更多的變道超車、車輛性能好的車輛會(huì)更快的加減速等)，這增大了機(jī)器學(xué)習(xí)算法訓(xùn)練難度，難以準(zhǔn)確預(yù)測(cè)車輛行為；另一方面，模擬器簡(jiǎn)化了車輛運(yùn)動(dòng)行為模擬，如對(duì)于加減速或變道只是瞬間修改車輛速度或移動(dòng)位置，而不考慮加減速和變道的過(guò)程，因而也難以準(zhǔn)確還原實(shí)際路況。
技術(shù)實(shí)現(xiàn)思路
[0005]針對(duì)現(xiàn)有技術(shù)的以上缺陷或改進(jìn)需求，本專利技術(shù)提供了一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其目的在于基于數(shù)據(jù)驅(qū)動(dòng)機(jī)器學(xué)習(xí)的方法，將復(fù)雜的交通流預(yù)測(cè)問(wèn)題分解為(1)車輛行駛風(fēng)格的學(xué)習(xí)及(2)車輛安全駕駛行為的學(xué)習(xí)這兩個(gè)不同層次，使用多種來(lái)源的真實(shí)路況數(shù)據(jù)預(yù)處理后，初始化交通模擬器，基于交通模擬器訓(xùn)練車輛行駛風(fēng)格模型以及車輛安全駕駛行為模型，通過(guò)上述兩個(gè)層次模型的結(jié)合，使得車輛安全駕駛能夠更好的學(xué)習(xí)到車輛真實(shí)的跟車和變道等安全駕駛行為，同時(shí)，使得路口的車輛流出符合真實(shí)交通流，從而實(shí)現(xiàn)精準(zhǔn)預(yù)測(cè)特定路段和時(shí)段的交通流，由此解決交通流精準(zhǔn)預(yù)測(cè)的問(wèn)題的技術(shù)問(wèn)題。
[0006]為實(shí)現(xiàn)上述目的，按照本專利技術(shù)的一個(gè)方面，提供了一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其包括：車輛行駛風(fēng)格層次預(yù)測(cè)模塊和車輛駕駛行為層次預(yù)測(cè)模塊；
[0007]車輛行駛風(fēng)格層次預(yù)測(cè)模塊，用于根據(jù)目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合采用強(qiáng)化學(xué)習(xí)模型評(píng)估車輛的行駛風(fēng)格，獲得車輛的行駛風(fēng)格屬性，所述車輛的行駛風(fēng)格屬性用于評(píng)價(jià)車輛行駛平穩(wěn)或激進(jìn)的程度；
[0008]車輛駕駛行為層次預(yù)測(cè)模塊，用于根據(jù)車輛行駛風(fēng)格層次預(yù)測(cè)模塊輸出的含有車輛的行駛風(fēng)格屬性的結(jié)構(gòu)化車輛信息，采用強(qiáng)化學(xué)習(xí)模型，預(yù)測(cè)特定車輛的加速比、以及變道到各車道的變道概率。
[0009]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述加速比用于表征該車輛在預(yù)測(cè)時(shí)刻的瞬時(shí)車速相對(duì)于當(dāng)前時(shí)刻的瞬時(shí)車速變化程度和趨勢(shì)。
[0010]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合為沙盤系統(tǒng)可用的結(jié)構(gòu)化車輛數(shù)據(jù)。
[0011]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述車輛行駛風(fēng)格層次預(yù)測(cè)模塊采用的強(qiáng)化學(xué)習(xí)模型和所述輛駕駛行為模塊采用的強(qiáng)化學(xué)習(xí)模型分別為DQN模型、DDPG模型、或A3C模型。
[0012]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合表示為目標(biāo)范圍內(nèi)車輛位置矩陣W
v
×
L
v
×
C
v
；所述車輛位置矩陣W
v
×
L
v
×
C
v
，用于存儲(chǔ)車輛位置及車輛屬性信息，其中W
v
表示車道，L
v
表示車道內(nèi)的位置單元，C
v
為車輛屬性向量，車輛屬性向量包括車輛速度、車輛平均行駛速度、加速度、減速度、跟車距離、用于唯一標(biāo)記車輛的車輛標(biāo)識(shí)符、和/或歷史位置信息序列，例如用連續(xù)K個(gè)時(shí)刻該位置的車輛屬性來(lái)體現(xiàn)K個(gè)觀測(cè)時(shí)間周期的歷史位置信息序列。
[0013]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述車輛行駛風(fēng)格層次預(yù)測(cè)模塊采用的強(qiáng)化學(xué)習(xí)模型狀態(tài)空間為結(jié)構(gòu)化車輛路況信息構(gòu)成的張量，狀態(tài)定義為車輛位置矩陣；
[0014]動(dòng)作空間定義為車輛行駛風(fēng)格屬性n，n為從1到N的離散值，用來(lái)描述車輛行駛的平穩(wěn)程度；
[0015]輸出為車輛位置矩陣，其車輛屬性向量含有為當(dāng)前時(shí)刻的路上車輛對(duì)應(yīng)的車輛行駛風(fēng)格屬性n。
[0016]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述含有車輛的行駛風(fēng)格屬性的結(jié)構(gòu)化車輛信息，可為所述車輛行駛風(fēng)格層次預(yù)測(cè)模塊采用的目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合疊加車輛的行駛風(fēng)格屬性形成的結(jié)構(gòu)化車輛信息，亦可表示為待預(yù)測(cè)范圍內(nèi)車輛位置矩陣W
v
×
L
v
×
C
v
’
；所述車輛位置矩陣W
v
×
L
v
×
C
v
’
，用于存儲(chǔ)車輛位置及含有車輛的行駛風(fēng)格屬性的車輛屬性信息，可表示為W
v
×
L
v
×
C
v
’
，其中W
v
表示車道，L
v
表示車道內(nèi)的位置單元，C
v
’
為車輛屬性向量，車輛屬性向量包括車輛的行駛風(fēng)格屬性。
[0017]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其所述輛駕駛行為模塊采用的強(qiáng)化學(xué)習(xí)模型狀態(tài)空間為結(jié)構(gòu)化車輛路況信息構(gòu)成的張量；優(yōu)選以特定車輛為中心，取其周圍預(yù)設(shè)范圍內(nèi)的結(jié)構(gòu)化車輛信息定義為狀態(tài)；
[0018]動(dòng)作空間為加速比和變道概率組成的二元組。
[0019]優(yōu)選地，所述基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其按照如下方法訓(xùn)練：重復(fù)以下步驟(1)和(2)直至微觀交通流預(yù)測(cè)系統(tǒng)收斂；
[0020](1)固定車輛行駛風(fēng)格層次預(yù)測(cè)模塊或車輛駕駛行為層次預(yù)測(cè)模塊的強(qiáng)化學(xué)習(xí)模
型，對(duì)車輛駕駛行為層次預(yù)測(cè)模塊或車輛行駛風(fēng)格層次預(yù)測(cè)模塊，進(jìn)行訓(xùn)練直至收斂；
[0021](2)固定車輛行駛風(fēng)格層次預(yù)測(cè)模塊或車輛駕駛行為層次預(yù)測(cè)模塊的強(qiáng)化學(xué)習(xí)模型，對(duì)車輛駕駛行為層次預(yù)測(cè)模塊或車輛行駛風(fēng)格層次預(yù)測(cè)模塊，進(jìn)行訓(xùn)練直至收斂。
...
【技術(shù)保護(hù)點(diǎn)】
【技術(shù)特征摘要】
1.一種基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，包括：車輛行駛風(fēng)格層次預(yù)測(cè)模塊和車輛駕駛行為層次預(yù)測(cè)模塊；車輛行駛風(fēng)格層次預(yù)測(cè)模塊，用于根據(jù)目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合采用強(qiáng)化學(xué)習(xí)模型評(píng)估車輛的行駛風(fēng)格，獲得車輛的行駛風(fēng)格屬性，所述車輛的行駛風(fēng)格屬性用于評(píng)價(jià)車輛行駛平穩(wěn)或激進(jìn)的程度；車輛駕駛行為層次預(yù)測(cè)模塊，用于根據(jù)車輛行駛風(fēng)格層次預(yù)測(cè)模塊輸出的含有車輛的行駛風(fēng)格屬性的結(jié)構(gòu)化車輛信息，采用強(qiáng)化學(xué)習(xí)模型，預(yù)測(cè)特定車輛的加速比、以及變道到各車道的變道概率。2.如權(quán)利要求1所述的基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，所述加速比用于表征該車輛在預(yù)測(cè)時(shí)刻的瞬時(shí)車速相對(duì)于當(dāng)前時(shí)刻的瞬時(shí)車速變化程度和趨勢(shì)。3.如權(quán)利要求1所述的基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，所述目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合為沙盤系統(tǒng)可用的結(jié)構(gòu)化車輛數(shù)據(jù)。4.如權(quán)利要求1所述的基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，所述車輛行駛風(fēng)格層次預(yù)測(cè)模塊采用的強(qiáng)化學(xué)習(xí)模型和所述輛駕駛行為模塊采用的強(qiáng)化學(xué)習(xí)模型分別為DQN模型、DDPG模型、或A3C模型。5.如權(quán)利要求1所述的基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，所述目標(biāo)范圍內(nèi)每輛車輛的行駛狀況信息集合表示為目標(biāo)范圍內(nèi)車輛位置矩陣W
v
×
L
v
×
C
v
；所述車輛位置矩陣W
v
×
L
v
×
C
v
，用于存儲(chǔ)車輛位置及車輛屬性信息，其中W
v
表示車道，L
v
表示車道內(nèi)的位置單元，C
v
為車輛屬性向量，車輛屬性向量包括車輛速度、車輛平均行駛速度、加速度、減速度、跟車距離、用于唯一標(biāo)記車輛的車輛標(biāo)識(shí)符、和/或歷史位置信息序列，例如用連續(xù)K個(gè)時(shí)刻該位置的車輛屬性來(lái)體現(xiàn)K個(gè)觀測(cè)時(shí)間周期的歷史位置信息序列。6.如權(quán)利要求5所述的基于層次強(qiáng)化學(xué)習(xí)的微觀交通流預(yù)測(cè)系統(tǒng)，其特征在于，所述車輛行駛風(fēng)格層次預(yù)測(cè)模塊采用的強(qiáng)化學(xué)習(xí)模型狀態(tài)空間為結(jié)構(gòu)化車輛路況信息構(gòu)成的張量，狀態(tài)定義為車輛位置矩陣；動(dòng)作空間定義為車輛行駛風(fēng)格屬性n，n為從1...
【專利技術(shù)屬性】
技術(shù)研發(fā)人員：鄭龍，張雅婷，凃浩，杜叢晉，
申請(qǐng)(專利權(quán))人：江蘇泰坦智慧科技有限公司，
類型：發(fā)明
國(guó)別省市：
還沒(méi)有人留言評(píng)論。發(fā)表了對(duì)其他瀏覽者有用的留言會(huì)獲得科技券。