|
AMD 銳龍嵌入式輔助 AI 零售結算解決方案
MulticoreWare 公司開發了一款先進的 AI 驅動智慧結算解決方案 RetailSentry AI，用於由 AMD 銳龍（ Ryzen ）嵌入式 8000 系列處理器提供支援的零售應用。這款智慧型 POS 系統利用多個 AI 模型，在處理器整合的 CPU、GPU 和 AMD XDNA™ 神經網路處理單元（ NPU ）架構上同時運作。當產品展示時，系統會捕捉其影像、掃描其條碼，並使用基於電腦視覺的目標偵測來比較商店的資料庫驗證產品，然後將其新增至顧客購物車。根據顧客的購買情況，系統還能推薦顧客可能感興趣的補充產品，進而增加商店收入。該解決方案的獨特之處在於其整合的入店行竊偵測能力，該功能使用 AI 演算法持續監控顧客行為，發現可疑活動。一旦偵測到潛在的盜竊行為，系統會產生即時由大型語言模型驅動的警報，以即時通知附近的店員。
專案挑戰
傳統的結算系統在使用者遇到困難時通常需要工作人員進行大量幹預。由於系統效率低或設計不佳，零售商也可能面臨高盜竊率，並錯失透過數據分析推薦補充產品的機會。
--------------------------------------------------------
MulticoreWare 業務開發總監 Manish Rawat 表示：“我們想建立一款解決方案，解決零售自助結算通道和外賣食品站的三個常見問題。我們需要係統能夠了解正在結算的產品，確保視覺識別與條碼相匹配，同時還要檢測盜竊，並能實時提醒店員。”
--------------------------------------------------------
在自助結帳過程中，掃描的產品名稱和影像會透過採用目標偵測的攝影機收集，並與產品條碼上的資訊進行比較。 Rawat 說：“我們需要一款能夠執行我們的多感知方法的處理器，將視覺感測與條碼數據相結合，並允許我們在多個 AI 模型上進行推理。”
為了實現這一目標，MCW 選擇了 AMD 銳龍嵌入式處理器，該處理器能夠在整合 CPU、GPU 和 NPU 的單一晶片上執行所有這些任務，無需採用其他供應商的多個晶片。
解決方案
MulticoreWare 的結算解決方案在基於電腦視覺的目標檢測以及與條碼驗證相似度匹配的基礎上進行構建。產品識別是透過計算所檢測到的產品與資料庫中參考影像之間的相似度來進行的。條碼掃描器會讀取產品條碼，以便快速且準確地結算，而 AI 目標偵測則會交叉驗證掃描產品，以偵測不匹配或不正確的掃描。如果一個條碼被換到一個價格較低的產品上，攝影機會偵測到差異並觸發警報。對於詐欺和異常偵測，系統使用 Al 來識別可疑行為，如漏掃、條碼篡改或產品交換。結帳系統涉及的組件包括一個基於 Yolo 演算法的目標檢測模型，該模型在定制數據上訓練以檢測產品；一個相似度檢查模組，透過使用基於 ResNet 的模型提取特徵來對比檢測到的產品與數據庫；一個異常/入店行竊檢測模組，該模組使用基於 CNN-LSTM 的模型監控商店內可疑活動；以及一個使用 LLM 模組響應大活動。
為了與這些模組進行交互，系統擁有一個集中的圖形使用者介面（ GUI ），用於監控、管理和分析即時和歷史產品及監控資料。控制面板包括產品掃描區域的即時攝影機傳輸；即時產品條碼掃描系統，顯示每個產品全面資訊（包括名稱、價格、描述、品牌以及其它重要屬性）；以及允許用戶添加或刪除產品並顯示即時總數的購物車詳細資訊。此控制面板視圖還包含重要的效能指標，包括 CPU 及記憶體使用率。該系統還包括一個即時攝影機視圖，可即時顯示標記的入店行竊事件，以及一個異常檔案，可以系統地對所有偵測到的事件進行編目和儲存以供審查。
設計成效
管理密集且多樣化的 AI 工作負載並確保透過互動式圖形介面進行沉浸式即時回應，這對嵌入式裝置來說是一項嚴峻挑戰。AMD 銳龍嵌入式 8000 系列處理器提供了強大的 x86 CPU 算力，具備至多 8 個「Zen 4」核心（ 16 執行緒），並包含整合的 AMD Radeon™ 顯示卡，可優化視覺處理和多媒體效能。此外，AMD 銳龍嵌入式 8845HS 處理器提供了至多 20 個 PCle Gen4 通道，為處理資訊提供了充足的 I/O 彈性。
目標偵測使用基於 Yolo 演算法的模型進行，其搭載在經過客製化資料訓練的 AMD 處理器上，用於偵測掃描的產品。檢測到的產品的圖像被裁剪並保存以進行相似度檢查。相似度檢查使用基於 ResNet 架構的模型從檢測到的產品圖像中提取特性 embeddings（嵌入）。將這些嵌入與儲存在資料庫中的參考 embeddings 進行比較，找出它們之間的相似度。
檢測店鋪攝影機鏡頭中的可疑活動涉及使用基於 CNN-LSTM 的分類模型來分析視訊幀並識別異常行為。這也是由 AMD 銳龍嵌入式處理器及其板載 XDNA™ 架構執行的，這是銳龍嵌入式 x86 解決方案的新功能，可為各類 AI 模型在工業邊緣實現快速流暢的 AI 推理與決策。
系統會處理視訊串流，根據預先定義的類別將活動歸類為正常或可疑。當發現可疑活動時，系統會觸發一個流程來保存特定片段以供審查。基於 Transformer 的架構充當圖像編碼器，從而產生 embeddings，與描述性文字標籤生成的 embeddings 進行比較。此比較透過餘弦相似度完成，其可測量影像 embeddings 與文字 embeddings 在特徵空間中的接近程度。
LLLAMA2 大語言模型用於在系統中產生情境通知。此模型用於兩項關鍵任務：建立異常偵測警報和顯示購物車中所新增產品的實情，從而增強使用者體驗。
--------------------------------------------------------
Rawat 表示：“AMD 銳龍嵌入式處理器助力我們部署最新的 AI 技術，透過實現快速準確的產品掃描與驗證，提供無縫、無憂的購物體驗，同時幫助零售商減少欺詐和盜竊情況。我們相信，這項核心技術可為未來打造更具變革性和互動性的面對面購物體驗奠定基礎。”
--------------------------------------------------------
進一步
了解 AMD 銳龍嵌入式 8000 系列處理器，請造訪 產品專區
閱讀原文 |
