導讀
中國移動自2019年正式啟動了核心網系統的NFV云化轉型，已建成全球規模最大的網絡云，目前核心網云化比例超80%。與傳統由廠商提供軟硬一體化的網絡設備不同，NFV云化轉型通過軟硬解耦提高網絡靈活性和開放度的同時，也帶來大規模、多廠商產品集成與互操作難的問題，成為運營商推進網絡云化所必須突破的巨大挑戰。
為了應對這一挑戰，中國移動在實施網絡云化轉型的過程中，充分認識到必須以更加自動化、智能化的手段破解NFV帶來的復雜度，以工具能力的提升破解人工所無法應對的網絡從建設到運維的挑戰。按照公司自智網絡的總體發展要求，通過提供大規模資源池內服務器及交換機等設備的自動化配置能力，在網絡云落地中的硬件集成建設環節實現了“零接觸自配置”，使得大規模資源池建設交付效率大幅提升。
什么是零接觸自配置
傳統大規模資源池集成硬件配置階段，多采取運營商提供標準、廠商提供技術的方式，這種傳統方案主要有以下問題：
1、雖然廠商可以提供部分自動化配置工具，但是由于現場設備數量及型號種類多，涉及到多個廠家之間對接適配，導致現場仍然需要大量人工操作，配置進度整體較慢，且人工配置出錯率也比較高。
2、當多個資源池同時建設時，配置信息和設備信息需雙方確認好具體資源池后，才能執行相關硬件設備配置，其中涉及的人工溝通成本較高，無法保證信息的實時性及準確性。配置階段各資源池系統獨立運行，相關硬件配置結果數據無法自動化進行匯總、統計及分析。
3、當硬件設備的配置項有改動時，需要現場人工觸發再次配置，當硬件資源池規模較大、數量較多時，引入的工作量較大且容易出現錯誤。
網絡云資源池硬件集成零接觸自配置的技術方案，就是針對集成過程中運營商自身需求和跨廠商集成痛點進行設計，在設備上架上電后，即可自動確認資源池信息、設備信息及配置內容，自動下發配置到待配設備。整個過程無需人工參與（零接觸）、全自動化持續進行（自配置），實現現場隨建隨配、“即插即用”的效果。
解決方案介紹
中國移動網絡云零接觸自配置技術架構由中央服務器和分布于各個硬件資源池的本地服務器組成。中央服務器集成了各硬件資源池的數據，控制資源池信息的統一下發，并匯總分析配置結果，進行全局信息的可視化展示；各資源池本地服務器則完成硬件設備配置、上傳單資源池測試結果至中央服務器的功能。
本地配置服務器采用模塊化設計，其中包括資源池自動化識別模塊、DHCP服務模塊、PXE鏡像模塊、交換機配置模塊、服務器配置模塊，相關配置功能基于SSH、Redfish、IPMI等業界標準技術接口實現。
以中國移動網絡云三期資源池網絡架構為例，整個技術應用流程包括：
（1）本地服務器接入到硬件資源池后，各功能模塊開始自動運行，通過DHCP模塊為當前連接的交換機設備分配臨時IP地址。
（2）資源池自動化識別模塊通過臨時IP地址登錄設備，獲取設備SN等相關信息，并以此為依據向中央服務器請求，獲取當前資源池的設備信息和預先定義、需要配置的各類參數數據。
（3）交換機配置模塊根據預先定義的配置參數，通過相關命令對可訪問的設備進行配置。根據不同的交換機類別和型號，可能需要執行多輪不同的參數配置和狀態檢查，并將配置結果上傳至中央服務器。
（4）在交換機逐步完成配置、放通網絡的過程中，PXE鏡像模塊會陸續收到服務器的PXE啟動請求，并根據預定義配置信息完成BMC IP地址、網關等初始化配置。
（5）服務器BMC IP配置成功后，服務器配置模塊將通過帶外方式登錄服務器，對服務器狀態進行檢查，并對不滿足預定義要求的BMC、BIOS等相關參數進行配置更新。如果發現有新版本的BMC固件，也會自動進行更新。
（6）以上所有模塊循環持續執行，如果設備存在當前未到貨、未開機、未連線等情況，或者更改了資源池設計信息，所有配置參數都會自動更新，直至所有交換機和服務器配置驗收完成。
方案亮點總結
中國移動零接觸自配置方案結合自身大規模云資源池建設方式、組網方案和驗收要求等進行了定制優化，具有以下亮點：
1、與現場施工低耦合：硬件設備配置模塊處于持續運行模式，會持續對被發現設備進行自動配置及檢查，對現場施工方式和進度沒有特殊要求，實現了一種契合現場硬件設備施工的“隨建隨驗”模式。配置整改報告會通過郵件自動發送給現場施工負責人，可第一時間對施工及設備問題進行整改，減少現場人工溝通和操作，大大提升效率。
2、多廠商設備適配：基于前期與相關設備廠商的合作，自動化配置功能能夠支持中國移動集采的各個廠商和型號的服務器、交換機設備。針對不同交換機設備出廠預配置、ZTP實現細節的少量差別，也提前設計了不同的流程，結合設備命令進行適配，確保現場能夠配置成功。
3、配置流程和內容精準控制。網絡云硬集單資源池包含帶內、帶外兩張網絡，最多包括上百臺交換機設備，上千臺服務器設備，各類網絡設備的配置相互關聯，配置時序不當會導致干擾和異常，需要精準控制配置邏輯。例如交換機配置模塊按照不同功能的交換機進行分層配置，對配置內容和順序進行編排，采取多種措施防環、防網絡風暴避免設備出現托管的情況。
應用效果及未來展望：
2021-2022年中國移動網絡云三期項目建設的硬件集成階段，零接觸自配置技術方案在10多個省公司的數十個資源池規模應用。累計完成自動配置40余萬項，與傳統人工配置可能需耗時5-7天相比，單資源池零接觸自配置的平均耗時僅1-2個小時，且一次正確率從傳統的70%左右提升到100%，達到業界先進水平。
也正是因為采用了零接觸自配置的模式，中國移動研究院的自動化集成技術支撐團隊，才能夠在投入人員很少的情況下，通過部署在現場的自動化工具，7x24不間斷地支撐網絡云三期各資源池的建設，為確保交付進度發揮了重要作用。
中國移動網絡云零接觸自配置是全球運營商大規模網絡云資源池建設中首次實現硬件集成的零接觸自配置，為NFV云化轉型樹立了技術創新標桿。未來技術團隊還將進一步完善包含虛擬層、分布式存儲、MANO和網元等在內的軟件零接觸自配置方案，并在更多場景推廣應用。
作者：
袁昕 中國移動研究院網絡與IT技術研究所
張璞 中國移動研究院網絡與IT技術研究所
馬換 中國移動研究院網絡與IT技術研究所
