用于發現表格數據中的關系的方法和系統技術方案

本發明專利技術內容涉及用于發現表格數據中的關系的方法、系統和計算機程序產品。接收一組文檔，所述一組文檔中的文檔包含表格數據。選擇要確定其依賴性的表格數據中的單元格。選擇與單元格結合使用的假設。通過確定是否能夠通過在所選部分上使用在假設中規定的函數來計算假設中的結論，測試假設是否適用于文檔的所選部分。所選部分可以是文檔的表格數據中的所選單元格范圍或非表格部分中的內容。利用假設以相對于所選部分描述單元格。

【技術實現步驟摘要】
【專利摘要】本
技術實現思路
涉及用于發現表格數據中的關系的方法、系統和計算機程序產品。接收一組文檔，所述一組文檔中的文檔包含表格數據。選擇要確定其依賴性的表格數據中的單元格。選擇與單元格結合使用的假設。通過確定是否能夠通過在所選部分上使用在假設中規定的函數來計算假設中的結論，測試假設是否適用于文檔的所選部分。所選部分可以是文檔的表格數據中的所選單元格范圍或非表格部分中的內容。利用假設以相對于所選部分描述單元格。【專利說明】用于發現表格數據中的關系的方法和系統
本專利技術一般涉及用于文檔的自然語言處理的方法、系統和計算機程序產品。更特 別地，本專利技術涉及用于發現表格數據（tabular data)中的關系的方法、系統和計算機程序 產品。
技術介紹
文檔包含任何形式的信息。例如，被配置為語句和段落的文本信息以敘述的形式 傳遞信息。 -些類型的信息是在表格組織中被呈現的。例如，文檔可包含用于呈現財務信息、 組織信息并且一般呈現通過一些關系相互相關的任何數據條目的表格。 自然語言處理（NLP)是便利于人與數據處理系統之間的信息交換的技術。例如， NLP的一個分支屬于將給定的內容轉換成人可用的語言或形式。例如，NLP可接受內容是計 算機特定語言或形式的文檔，并產生相應內容采取人可讀形式的文檔。
技術實現思路
解釋性實施例提供用于發現表格數據中的關系的方法、系統和計算機程序產品。 實施例接收一組文檔，所述一組文檔中的文檔包含表格數據。實施例選擇要確定其依賴性 的表格數據中的單元格。實施例選擇與單元格（cell)結合使用的假設（hypothesis)。實 施例通過確定是否能夠通過在所選部分上使用在假設中規定的函數來計算假設中的結論， 使用處理器和存儲器測試假設是否適用于文檔的所選部分，其中，文檔的所選部分包含文 檔的表格數據中的所選單元格范圍和非表格部分中的內容中的一個。實施例利用假設以相 對于所選部分描述單元格。 【專利附圖】【附圖說明】 在所附的權利要求中闡述被認為是本專利技術的特征的新穎特征。但是，通過在結合 附圖閱讀時參照解釋性實施例的以下的詳細描述，可以最好地理解本專利技術自身以及優選的 使用方式及其進一步目的和優點，其中， 圖1示出可實現解釋性實施例的數據處理系統的網絡的圖示； 圖2示出可實現解釋性實施例的數據處理系統的框圖； 圖3示出根據解釋性實施例的其中可識別函數依賴性的表格數據的例子； 圖4示出根據解釋性實施例的發現表格數據中的關系的方式的框圖； 圖5示出根據解釋性實施例的用于發現表格數據中的關系的應用的框圖； 圖6示出根據解釋性實施例的用于發現表格數據中的關系的示例處理的流程圖； 以及 圖7示出根據解釋性實施例的用于評價置信水平的示例處理的流程圖。 【具體實施方式】 解釋性實施例認識到，經受NLP的文檔一般包含表格數據，S卩，一個或多個表格數 據結構（表格）的形式的內容。表格的單元格是表格內的包含單元，使得單元格的內容可 唯一地由表格的行和列或其它的適當的坐標識別。 解釋性實施例認識到，在表格的單元格內呈現的信息常常涉及同一表格的其它單 元格中的信息、同一文檔中的不同表格的單元格或不同文檔中的單元格或不同表格。對于 理解表格數據的意思，并且，一般對于總體理解文檔的意思，包含于不同單元格中的信息之 間的關系是十分重要的。 解釋性實施例認識到，為了正確和完整地解釋表格數據，在NLP中需要專門的處 理或操作。用于理解單元格值之間的關系的當前可用技術限于通過使用行或列標題啟發式 地猜測單元格的標簽。 用于描述本專利技術的解釋性實施例一般針對并解決與當前可用NLP技術的限制有 關的上述問題和其它問題。解釋性實施例提供用于發現表格數據中的關系的方法、系統和 計算機程序產品。 解釋性實施例認識到，表格中的單元格可依賴于表格中的一個或多個其它的單元 格、跨給定文檔中的不同表格的單元格或跨不同文檔中的不同表格中的單元格。一個單元 格對另一單元格的依賴性在本質上是函數關系，即，基于函數的依賴性。例如，形成這種函 數依賴性的基礎的函數可以是在某些單元格值上運算以在某些其它的單元格中賦予單元 格值的數學、統計、邏輯或條件函數的任意組合。 作為例子，包含總量的單元格在函數上依賴于值參與總量的單元格。作為另一例 子，統計分析結果單元格，諸如包含實驗中的方差值的單元格，可在函數上依賴于可能處于 另一表格中的一組其它的單元格，在該另一表格中記錄實驗的各種迭代的結果。 這些例子意圖不在于限制解釋性實施例。函數依賴性指示一個或多個表格的單元 格之間的關系，并且高度可根據表格或文檔中的數據、其目的和各種單元格的意思被配置。 并且，單元格可作為從屬單元格和/或作為被從屬單元格參與任意數量的函數依 賴性。由于單元格中的信息可涉及在給定文檔中的任何位置可用的信息，因此單元格的函 數依賴性也可包含依賴于給定文檔中的非表格數據。 解釋性實施例通過使得NLP工具能夠理解表格數據的單元格的關系而改善在文 檔中以表格形式呈現的信息的理解。解釋性實施例提供確定表格中的單元格對其它單元 格、表格的周圍文本、文檔中的內容或它們的組合的函數依賴性的方式。 精度是相對于從表格理解了多少，從表格理解的多少是正確的度量。喚回 (recall)是相對于在表格中實際上要理解多少信息，從表格理解了多少的度量。 -般地，嘗試提高精度導致喚回性能劣化，反之亦然。實施例改善具有表格數據的 文檔的自然語言處理的精度和喚回。 關于某些文檔和表格數據，僅作為例子描述解釋性實施例。這些文檔、表格數據或 它們的示例性屬性不意在限制本專利技術。 并且，可關于任何類型的數據、數據源或在數據網絡上對數據源的訪問實現解釋 性實施例。在本專利技術的范圍內，在數據處理系統本地或者在數據網絡上，任何類型的數據存 儲裝置可向本專利技術的實施例提供數據。 解釋性實施例僅通過使用特定的代碼、設計、架構、協議、布局、示圖和工具作為例 子被描述，并且，不限于解釋性實施例。并且，在一些情況下，為了闡明描述，僅通過使用特 定的軟件、工具和數據處理環境作為例子描述解釋性實施例。解釋性實施例可與其它的相 當或目的相近的結構、系統、應用或架構結合使用。可在硬件、軟件或它們的組合中實現解 釋性實施例。 本公開中的例子僅用于闡明描述，并且不限于解釋性實施例。可從本公開構想附 加的數據、操作、動作、任務、活動和操控，并且，它們在解釋性實施例的范圍內被設想。 這里列出的任何優點僅是例子，并且不意在限于解釋性實施例。可通過特定的解 釋性實施例實現附加或不同的優點。并且，解釋性實施例可具有以上列出的優點中的一些 或全部，或者不具有它們中的任一個。 參照附圖，特別是參照圖1和圖2,這些附圖是可實現解釋性實施例的數據處理環 境的示例示圖。圖1和圖2僅是例子，并且不意在關于可實現不同的實施例的環境斷言或 暗示任何限制。特定的實現可基于以下的描述對示出的環境提出許多修改。 圖1示出可實現解釋性實施例的數據處理系統的網絡的圖示。數據處理環境100 是可實現解釋性實施例的計算機網絡。數據處理環境100包括網本文檔來自技高網...

【技術保護點】
一種用于確定表格數據中的關系的方法，所述方法包括：接收一組文檔，所述一組文檔中的文檔包含表格數據；選擇要確定其依賴性的表格數據中的單元格；選擇與單元格結合使用的假設；通過確定是否能夠通過在所選部分上使用在假設中規定的函數來計算假設中的結論，使用處理器和存儲器測試假設是否適用于文檔的所選部分，其中，文檔的所選部分包含文檔的表格數據中的所選單元格范圍和非表格部分中的內容中的一個；和利用假設以相對于所選部分描述單元格。

【技術特征摘要】
...

【專利技術屬性】
技術研發人員：D·K·拜倫，S·N·吉拉爾德，A·皮科夫斯基，M·B·薩恩切茨，
申請(專利權)人：國際商業機器公司，
類型：發明
國別省市：美國;US