車牌識別系統采用高度模塊化的設計，將車牌識別過程的各個環節各自作為一個獨立的模塊，其系統框架如下所示。

　　1、車輛檢測跟蹤模塊

　　車輛檢測跟蹤模塊主要對視頻流進行分析，判斷其中車輛的位置，對圖像中的車輛進行跟蹤，并在車輛位置最佳時刻，記錄該車輛的特寫圖片，由于加入了跟蹤模塊，系統能夠很好地克服各種外界的干擾，使得到更加合理的識別結果，可以檢測無牌車輛并輸出結果。

　　2、車牌定位模塊

　　車牌定位模塊是一個十分重要的環節，是后續環節的基礎，其準確性對整體系統性能的影響巨大。車牌系統完全摒棄了以往的算法思路，實現了一種完全基于學習的多種特征融合的車牌定位新算法，適用于各種復雜的背景環境和不同的攝像角度。

　　3、車牌矯正及精定位模塊

　　由于受拍攝條件的限制，圖像中的車牌總不可避免存在一定的傾斜，需要一個矯正和精定位環節來進一步提高車牌圖像的質量，為切分和識別模塊做準備。使用精心設計的快速圖像處理濾波器，不僅計算快速，而且利用的是車牌的整體信息，避免了局部噪聲帶來的影響。使用該算法的另一個優點就是通過對多個中間結果的分析還可以對車牌進行精定位，進一步減少非車牌區域的影響。

　　4、車牌切分模塊

　　車牌系統的車牌切分模塊利用了車牌文字的灰度、顏色、邊緣分布等各種特征，能較好地抑制車牌周圍其他噪聲的影響，并能容忍一定傾斜角度的車牌。這一算法有利于類似移動式稽查這種車牌圖像噪聲較大的應用。

　　5、車牌識別模塊

　　在車牌識別系統中，通常采用多種識別模型相結合的方法來進行車牌識別，構建一種層次化的字符識別流程，可有效地提高字符識別的正確率。另一方面，在字符識別之前，使用計算機智能算法對字符圖像進行前期處理，不僅可盡可能保留圖像信息，而且可提高圖像質量，提高相似字符的可區分性，保證字符識別的可靠性。

　　6、車牌識別結果決策模塊

　　識別結果決策模塊，具體地說，決策模塊利用一個車牌經過視野的過程留下的歷史記錄，對識別結果進行智能化的決策。其通過計算觀測幀數、識別結果穩定性、軌跡穩定性、速度穩定性、平均可信度和相似度等度量值得到該車牌的綜合可信度評價，從而決定是繼續跟蹤該車牌，還是輸出識別結果，或是拒絕該結果。這種方法綜合利用了所有幀的信息，減少了以往基于單幅圖像的識別算法所帶來的偶然性錯誤，大大提高了系統的識別率和識別結果的正確性和可靠性。

　　7、車牌跟蹤模塊

　　車牌跟蹤模塊記錄下車輛行駛過程中每一幀中該車車牌的位置以及外觀、識別結果、可信度等各種歷史信息。由于車牌跟蹤模塊采用了具有一定容錯能力的運動模型和更新模型，使得那些被短時間遮擋或瞬間模糊的車牌仍能被正確地跟蹤和預測，最終只輸出一個識別結果。

　　8、在線學習模塊

　　在以上各個模塊中，使用了大量基于學習的算法，系統特別添加在線學習模塊，采用最新的反饋型學習模型，利用決策模塊和跟蹤模塊得到的車牌質量、車輛軌跡、速度等反饋信息，智能化地更新一些算法參數，使得系統能快速適應新的應用環境。該算法作為已有算法的一個有力補充，將進一步提高系統性能。