大語言模型在商業銀行的應用｜金融與科技
分類: 最新資訊
育兒詞典
編輯 : 育兒知識
發布 : 02-23
閱讀 :191
文/中國銀行企業級架構建設辦公室資深經理宋首文隨著以ChatGPT為代表的生成式人工智能的爆發式發展，針對大語言模型的研究和產業應用成為科技界的熱點領域。在金融業，大語言模型能夠應用在智能客服、智能營銷、智能投顧、智能辦公、智能風控等諸多場景，從而為銀行轉變管理模式、提升服務質效提供有效助力，也已成為未來銀行數字化轉型的路徑依賴。同時應用大語言模型過程中，也要對其中可能蘊含的數據風險、模型風險和決策風險等潛在風險因素保持清醒認識，并采取合理措施予以防控。引言黨的二十大報告提出，要實施創新驅動發展戰略，開辟發展新領域新賽道，不斷塑造發展新動能新優勢，構建包括人工智能技術在內的一批新增長引擎。近期召開的中央金融工作會議強調，要做好五篇金融大文章，其中包括科技金融與數字金融。金融業因其信息豐富、數據龐雜、知識專業、人才密集等天然特征，擁有與大模型深度結合的基因，因而成為大模型應用落地的重要場景。2022年11月30日，OpenAI推出ChatGPT，引發了全球范圍內的新一輪AI狂潮，科技巨頭紛紛涌入賽道加速布局。隨著微軟率先將GPT-4應用于搜索引擎，國內科技領軍企業百度、華為、阿里等也加快了大模型的開發和應用，先后推出了文心一言、盤古、通義千問等大模型產品。今年3月，彭博推出了應用于金融業的大語言模型BloombergGPT，引發了市場對金融領域大模型的關注。大模型技術發展帶來的產業變革將成為科技金融、數字金融發展的重要推動力。目前，銀行業正加速推進數字化轉型。數字化轉型的愿景就是要利用數字化手段提升企業管理和服務水平，強化創新能力，發展新業務模式。國內多家銀行已積極探索大模型應用場景。如農業銀行推出了ChatABC大模型，工商銀行在遠程銀行、智慧辦公、研發等企業內部場景進行了大模型應用的初步探索，招商銀行重點應用于全流程財富管理，投產了FinGPT創意中心等。大模型的發展及特點大語言模型（后續簡稱大模型）是大規模語言模型（Large Language Model）的簡稱，是一種網絡參數規模達到億級以上的深度學習復雜神經網絡算法，能夠自動從大量的非結構化數據中學習、處理數據和生成結果，具有解決復雜問題的理解能力，向用戶輸出個性化內容。與過去自然語言處理（NLP）領域常見的算法和模型不同，大模型能夠充分挖掘海量未標注數據蘊含的信息，這為大模型帶來了突破性的語義理解和泛化輸出能力。以ChatGPT為代表的大模型在許多復雜的NLP任務上給出了前所未有的出色表現。在ChatGPT火爆出圈之后，許多其他領域的生成式人工智能產品也相繼涌現，如自動編程輔助工具CopilotX、AI繪畫生成工具Stable Diffusion、智能視頻生成工具pika等，這些產品正在深刻地改變人們工作和生活的方式，也將對未來許多行業的商業模式帶來深遠影響。大模型的發展歷程作為NLP領域的前沿技術，大模型的發展史與人類探尋機器處理語言的歷程密不可分。在NLP發展過程中，其基本思路由以人為設定的規則為主，逐步演化為基于統計歸納和深度學習的模型處理。總體來看，大模型的發展經歷了如下幾個階段：萌芽期（1950—2005）：以CNN為代表的傳統神經網絡模型階段。卷積神經網絡（Convolutional Neural Networks，簡稱CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡，是深度學習的代表算法之一。CNN通過卷積操作來提取輸入數據的局部特征，并通過池化層減小數據的空間尺寸，最終通過全連接層實現分類，主要應用于計算機視覺領域，如圖像識別。卷積神經網絡奠定了深度學習在計算機視覺等領域的基礎，為后續大模型的發展提供了關鍵的技術經驗支持。成長期（2006—2019）：以Transformer為代表的全新神經網絡模型階段。在這一階段，Word2Vec模型和GAN（對抗式生成網絡）相繼誕生，深度學習進入了生成模型研究的新階段。2017年，Transformer架構是由Google創造性地提出的。這是一種基于自注意力機制的神經網絡結構，不再依賴于卷積或循環結構，而是通過自注意力機制來處理輸入序列，用于自然語言處理、計算機視覺等方面，并由此奠定了大模型的算法架構基礎。爆發期（2020年至今）：以GPT為代表的預訓練大模型階段。生成式預訓練轉換器（Generative Pre-trained Transformer，簡稱GPT）是一種基于Transformer架構的生成式預訓練模型，經由龐大的語料庫訓練后，可根據用戶輸入的文字內容生成對應文字回答。隨著模型規模的增加，GPT具有更強大的學習和生成能力。2022年11月，OPENAI推出ChatGPT3.5，在智能問答、內容創作、翻譯等方面的能力顯著提升。GPT模型在自然語言處理領域取得了重大的突破，推動了預訓練大模型在人工智能領域的快速發展。2023年12月，谷歌公司發布人工智能大模型Gemini。它包括三個版本：功能最強的Gemini Ultra被定位為GPT-4的競爭對手；Gemini Pro是中端版本，適用于多任務處理；而Gemini Nano則用于特定任務和移動端設備。目前，Gemini Pro版本已率先上線并實裝至谷歌聊天機器人Bard中。在官方發布的演示中，通過合理輸入提示詞，Gemini表現出較強的邏輯推理、互動、創作和解決問題的能力，包括跟蹤游戲內容、識別手勢、給出正確的行星排列順序等。且由于Gemini是原生多模態大模型，即強調訓練過程中就采用多模態數據輸入，因此其在處理多模態任務方面相較于GPT-4版本具有優勢，例如可基于大量論文數據生成對比分析圖表等。Gemini的發布標志著生成式人工智能領域進入了谷歌與OpenAI兩大陣營兩強“軍備競賽”的階段，將有助于大模型整體的多元化創新發展，行業的頭部效應也將更加明顯。大模型基本邏輯及技術特點以GPT為代表的大模型在處理文本時的基本邏輯是采用自回歸的預測方式，基于前一個語句的單詞來生成下一個詞，它通過在大規模文本數據集上進行無監督預訓練來掌握語言的統計特征和語義表示，學習單詞之間的關系、句子的語法信息和文本的上下文語義。GPT是基于Transformer架構建立的，自2017年被Google提出后，Transformer已成為了BERT、GPT等預訓練模型的核心結構。Transformer架構相較于過去運用較多的LSTM等模型，能夠在處理長文本時更好地捕捉間隔較長的語義關聯，同時，它能夠高效利用GPU進行分布式訓練，顯著提升建模效率。至此，Transformer架構已成為NLP領域最主流、應用最廣泛的架構。典型的Transformer架構包含一個編碼器（Encoder）和一個解碼器（Decoder）。其中，編碼器用于學習輸入序列的表示，解碼器用于生成輸出序列。對于輸入的文本，Transformer架構首先會對其進行轉換，將其編碼為詞向量和位置信息，使模型獲取輸入的每個單詞和其在整個序列中的位置。隨后，編碼器會對編碼后的數據采用專注力機制進行處理，計算輸入序列中每個位置與其他位置之間的關聯程度，從而為每個位置分配不同的權重。這些權重信息體現了不同語句元素的重要性，代表了模型所捕捉到的序列中的關聯信息。而在解碼器模塊，會再次通過專注力機制，并經過多層神經網絡的計算，給出最終的輸出詞預測概率。相較于傳統的NLP模型，基于Transformer架構的大模型具有如下顯著特征：海量磅礴的數據規模盡管對何種規模的模型稱其為“大”，還沒有官方的定義，早期的大模型參數一般在百萬、千萬級別，而目前NLP領域的大模型具有的參數往往在數十億數量級之上。以GPT-3版本為例，其擁有的參數達到1750億個，為完成訓練所需要的語料庫數據量達到45TB之巨。大模型帶來的卓越性能表現離不開海量基礎數據的積累和強大基礎計算資源的支撐。智能強大的涌現能力在模型規模不斷拓展過程中，一旦突破某個閾值，其在語義理解、邏輯推理等復雜任務上的性能表現就會顯著提升，這類帶來“質變”的能力被稱為“涌現能力”。大模型所體現出的涌現能力主要包括強大的上下文學習能力和知識推理能力等，ChatGPT在很多場景下表現出很高的“理解”的智慧。跨語言跨領域的泛化能力對機器學習模型而言，泛化能力是指將學習到的知識、經驗和策略應用到新領域、新場景下的能力，這也是人們始終追求的通用人工智能的關鍵能力。大模型在處理與訓練數據集不同的主題或風格的內容時能給出良好的表現，可以在未經過直接訓練的語言上較好地執行任務，也能夠應對各種不同的場景，如文本摘要、文本生成、機器翻譯和智能問答等。大模型的發展趨勢目前，大模型所引發的技術變革正如火如荼，各大科技公司都在理論研究、模型構建和產業應用等方面積極布局。未來，大模型領域前景廣闊潛力巨大，隨著探索的不斷深入，大模型的發展必將呈現出多元化的發展趨勢，主要如下：大小模型協同并進：大模型發展迅速，但是在模型部署、資源損耗、數據標注等方面面臨非常大的挑戰。大型模型能力的提升，關鍵在于高質量真實數據的投喂。通過模型量化、蒸餾等方式，將大模型沉淀的知識與能力向小模型輸出，由小模型執行實際任務，然后將執行結果反饋給大模型。通過這種迭代閉環的數據循環，大模型能力持續強化，形成有機循環的智能體系。行業領域垂直滲透：目前，許多企業級場景在落地大模型會面臨缺乏行業深度、不懂企業、無法保證所有權等問題，這是由于通用大模型缺乏專業領域訓練語料以及缺少產品設計考慮。未來，垂直大模型是重要的發展方向，通用模型會和各領域的專有知識深度融合滲透，在模型訓練和優化中使用特定領域的數據，以確保模型更好地理解和適應該領域的語境和特點，從而創造更高的價值。多種模態深度融合：多模態是指能夠將不同類型的數據，如圖像、文字、視頻、語音等，結合起來進行準確處理，更接近于人類的認知模式。通過不同類型的數據之間的相互關聯和結合，能夠進一步提高模型的準確性和魯棒性，展現出更高的性能和智能。多模態大模型的跨感知理解能力和生成能力為大模型應用提供了廣闊的新領域，可以高效賦能于各領域場景。公有私用專業對接：隨著許多開源大模型的呈現，以及相關廠商大模型的逐步商業化，大模型在純應用端的發展也在提速迭代。小型企業、專業化公司雖然不具備豐富的人工智能算法和模型知識等基礎設施和人才，但也能使用大模型提供的在線接口和服務，結合自身的專業背景和行業實踐，通過合理選擇應用切入方向，比如通過為大模型設置有效提示詞等方式，也能打造具備強大功能的專屬應用。大模型在商業銀行的應用從ChatGPT等大模型所展現的應用場景和價值來看，大模型在商業銀行的應用前景十分廣闊，從前臺到中后臺的各業務條線，都可以深入挖掘大模型的應用潛力，有效助力銀行拓展挖掘細分市場，優化金融服務水平，提升內部管理效能，降低自身運營成本。在發展大模型應用的過程中，銀行要先行先試、循序漸進，綜合平衡成本收益，著眼于可落地性，深入挖掘實際需求，在探索中不斷積累完善，穩步提升客戶的獲得感和內部用戶的便捷感知。現階段，大模型在商業銀行的主要應用場景可包括智能客服、智能營銷、智能投顧、智能辦公和智能風控等方面。智能客服使用機器客服替代部分人工服務的場景，已在銀行業廣泛應用。但是，許多銀行智能客服數字化程度不高，存在知識庫問題匹配不精確、提問語義解析不準確、上下文理解不充分、答案抽取能力不高等問題。而大模型在內容生成和語義理解方面有突出優勢，因此，許多銀行寄望于借助大模型技術來提高客戶服務的質量和效率，具體體現在以下三個方面：第一，準確識別客戶意圖。基于大模型加持的智能客服，橫跨多個知識庫條目，精準定位關鍵知識點，能夠回溯多輪對話，更好地理解上下文。在通用大模型的基礎上，疊加金融客服領域的數據和專業經驗，進行垂直領域定向訓練，客服機器人可以綜合考慮用戶提示語和用戶習慣，準確識別客戶意圖。為避免錯誤話術納入大模型訓練范疇，銀行須對海量數據進行合規方面的AI核查。第二，改善提升對話體驗。大模型的多模態感知與多維表達能力讓智能客服提升了客戶情緒識別效果，使溝通更具情感色彩，通過更加擬人化、富有個性的表達方式，增強用戶對人機對話的接受度和意愿度。高質量的對話體驗可以拉近人和機器的距離，降低轉人工率，提升客服支持的效率與服務滿意度......本文僅代表個人觀點，不代表所在單位意見。付費￥5閱讀全文文章來源丨《清華金融評論》2024年2月刊總第123期本文編輯丨王茅責編丨丁開艷校對丨蘭銀帆初審丨徐蘭英終審丨張偉Review of Past Articles -0102
