一、 從流量控制到流量調度

1、廣域網流量與帶寬的矛盾

廣域網覆蓋范圍廣、接入用戶多、承載業務復雜。隨著政府、企業等信息化的不斷發展，尤其是近年來數據大集中帶來的業務整合，高清視頻、IP語音、公共資源平臺等應用上線，推動廣域網數據類型、數據流量、網絡規模的快速增加。

相對于園區網、城域網和數據中心，廣域網跨越距離遠，線路資源有限，高速帶寬費用昂貴。快速增加的業務流量與有限的帶寬資源之間的矛盾，使得廣域網上的流量很容易產生擁塞，導致業務延時增加、流量抖動，甚至丟包。如圖1所示。 

圖1 廣域網流量特征

廣域網的上述矛盾決定了廣域網業務質量的“不可靠”性，也使得流量控制始終是廣域網方案設計的核心內容。

2、流量控制方案

隨著線路類型以及網絡產品和技術的發展，在廣域網上進行流量控制的技術主要分為三種。 

◆InterServ方式

集中服務方式，主要應用于早期的廣域網專線，如ATM、FR，通過將線路劃成多個PVC**（Permanent Virtual Circuit，永久虛電路，例如ATM線路的VPI/VCI、FR線路的DLCI等），每個PVC分配所需的保證帶寬（CBR），將線路的實際帶寬在PVC上進行分配。通過將不同類型的業務映射到對應的PVC上，使用PVC的分配帶寬，實現不同類型業務的傳輸帶寬和時延質量保證。

該種方式要求網絡中的所有節點（包括核心節點）都記錄并保留每個類型業務流的資源預留狀態，同時為每個類型的業務流設置單獨的內部虛電路資源，以保證業務流的帶寬。因而該方式對于可劃分PVC的ATM、FR等線路比較容易實現。

然而現在廣域線路以POS、E1、以太網為主，采用共享帶寬方式，在線路上已經不能進行虛擬電路劃分。另外，在大型網絡中，業務流數量非常龐大，對網絡節點設備的處理能力有著非常高的要求。同時，由于必須在所有節點上都保留每個類型業務流的資源狀態，整體網絡設計和部署的可擴展性也較低。

因此，IntServ方式主要在早期的廣域網線路中應用，而不再適應當前以IP為主的廣域網線路，以及日益增多的應用業務，它逐漸被DiffServ方式所替代。 

◆DiffServ方式

區分服務方式，是IETF工作組為了克服InterServ的可擴展性差而提出的服務模型，目的是制定一個可擴展性相對較強的方法來保證IP的服務質量。在DiffServ模型中，業務流被劃分成不同的區分服務類。一個業務流的區分服務類由其IP包頭中的區分服務標記字段（Different Service Code Point，簡稱DSCP）來表示。在實施DiffServ的網絡中，每一個節點路由器都會根據數據包的DSCP字段執行相應的PHB(Per Hop Behavior)行為，主要包括EF、AF、BE三類：

1. Expedited Forwarding (EF)：主要用于低延遲、抖動和丟包率的業務，這類業務一般運行一個相對穩定的速率，需要在路由器中進行快速轉發。

2. Assured Forwarding (AF)：這類業務在沒有超過最大允許帶寬時能夠確保轉發，一旦超出最大允許帶寬，則允許根據不同的丟棄級別丟棄報文。

3. Best Effort (BE)：盡力轉發，主要用于對時延、抖動和丟包不敏感的業務。

區分服務只包含有限數量的業務級別，狀態信息的數量少，因此擴展性較好。目前，區分服務是業界認同的IP骨干網的QoS解決方案。盡管IETF為每個標準的PHB都定義了推薦的DSCP值，但是設備廠家可以重新定義DSCP與PHB之間的映射關系，用戶可根據網絡實際需要進行靈活定義。 

◆MPLS TE方式：

Diffserv是基于流分類的逐跳行為，但是不能選擇路徑。MPLS TE流量工程是將InterServ方式應用到IP網絡中，進行資源預留和流量分擔，從而提高線路帶寬利用率，對網絡資源的使用進行優化。但是TE的實現機制比較復雜，對設備的功能和性能要求很高；同時TE主要應用于運營商骨干網絡，適合于網狀或者半網狀網絡結構，對于企業級的星形、層次化網絡結構并不適合。因此MPLS TE在企業級廣域網中應用比較少見。

在以上三種方式中，目前較為常用的是DiffServ方式，采用流量分類、流量監管（限速）、擁塞管理（優先級隊列）等QoS技術，對不同類型流量執行不同的流量控制策略，保證高優先級關鍵業務的傳輸質量。

3、流量調度需求

流量控制方案雖然能夠保證關鍵業務的傳輸質量，但隨著廣域網上業務類型的增加，面臨多樣化的業務流量控制需求，逐漸顯現一些不足，主要體現在以下幾點。 

◆不能全局協調

DiffServ方式的出發點就是通過PHB的方式，每個節點獨立執行流量控制策略。目前廣域網的雙節點、雙鏈路組網方式已經成為主流，這種基于單節點、單鏈路的PHB控制策略，無法充分利用主、備鏈路帶寬。例如，當主鏈路業務流量突發超過主鏈路帶寬時，根據主鏈路節點設備的流量控制策略，即使備鏈路有空閑帶寬，仍然會對主鏈路上過載流量進行丟棄，導致同一網絡節點上的鏈路資源沒有得到充分利用。備鏈路很可能仍有一定的空閑。根據主鏈路節點的流量控制策略，主鏈路上必然產生流量丟包，備鏈路上的空閑資源沒有得到有效利用。

圖2 雙鏈路流量控制

如圖2所示，主、備鏈路帶寬均為10M，主鏈路流量突發（達到12M），而備鏈路流量正常（6M）。由于R1、R2的流量控制策略是獨立部署和執行的，根據路由器R1的流量控制策略，會有2M流量被丟棄，而R2所在鏈路還空余4M的鏈路帶寬，主、備鏈路壓力和利用率不均衡。 

◆不能動態調整

流量控制是基于業務流特征執行策略，一般很少考慮對終端用戶進行控制。事實上，業務類型和終端用戶的增加，使得業務流突發存在很大的不確定性。例如在線辦公系統（Notes、Email等），通過流量控制保證2M帶寬，則10人使用時，每人平均100K的流量，50人使用時，每人平均只有40K。如果一些用戶收發大郵件、占用大量帶寬，將會導致其他人員只能使用遠小于平均值的帶寬，業務訪問速度降低，甚至會影響正常辦公。若對每個用戶的訪問速度進行限制（例如每人最大50K），又會抑制整體訪問速度，當并發訪問人員較少時，雖然帶寬有富余，訪問速度也不能增加。因此，由于缺乏動態調整機制，很難對每個用戶的使用帶寬進行有效限制和保證，以提高效率、兼顧公平性。 

◆不能精細化控制

通過路由器、交換機等網絡設備執行流量控制策略，必須明確配置每種業務的特征（IP地址、端口號、協議類型、優先級等），對于無法通過上述特征識別的業務（如FTP、基于HTTP、P2P等的應用），基于流量控制方案不能進行有效的控制。而隨著B/S架構、服務器虛擬化的廣泛應用，傳統的業務流特征已經不再包含單一應用，必須有對應的深入識別和控制手段，進行精細化流量控制。 

◆整體部署策略復雜

DiffServ方式流量控制雖然可以結合MPLS TE、分層QoS技術，實現更加強大的流量控制功能（例如對關鍵業務進行帶寬預留，對不同部門的不同業務進行分級帶寬保證），但MPLS TE和分層QoS技術實現和配置比較復雜，除了運營商骨干網，企業級網絡中應用較少。事實上，基于企業級網絡的組網結構和運維管理水平，它需要簡單、直觀、可擴展、適應性強的技術和策略。

為了改進傳統流量控制方案中的不足，滿足多樣化的業務流量控制需求，企業廣域網需要一種動態、智能、簡單的機制實現流量控制，這就是流量調度。

表1 流量控制與流量調度對比：#p#

二、 流量調度方案的主要構成

廣域網流量調度方案，主要包括業務分流、擁塞避免、流量路由、精細化流量控制等幾個部分。

 1、業務分流

業務分流是進行流量調度方案設計的前提。通過路由協議（Cost、路由優先級等路由策略調整）、策略路由、VRRP/VRRPE等，將流量在鏈路上進行策略性的分擔。例如將辦公、生產等業務在主鏈路上承載，將視頻會議業務在備鏈路上承載。

2、擁塞避免

傳統的流量控制是“后覺”行為，主要部署在網絡設備出接口，當需要轉發的流量超過出接口帶寬時，執行擁塞管理策略，通過優先級隊列轉發高優先級流量、丟棄低優先級流量。QoS技術中雖然有WRED擁塞避免技術，但其主要原理是通過提前丟包降低業務流速率，從而減輕出接口擁塞程度，但并不能完全避免擁塞。 

圖3 擁塞管理時延測試

以某測試為例，出接口為10M以太網鏈路，配置CBQ優先級隊列，優先保證UDP報文流量。通過流量測試儀生成混合報文，UDP包（模擬視頻流）占1/4，IP包（64字節）占1/4，IP包（1024字節）占1/2，依次測試流量為1.2M、2.4M、3.6M、…、10.8M、12M等幾種情況，記錄每個報文的平均時延、丟包率。

測試結果如圖3所示，流量未超過鏈路帶寬時，所有報文都能夠正常轉發，平均時延在1ms以下。當流量超過鏈路帶寬，發生擁塞時，通過CBQ擁塞管理策略，UDP包仍然能夠完全轉發，丟包率為0；而IP包的丟包率隨著流量增加而增大。同時，無論是UDP包還是IP包，平均時延都大幅增加，達到15ms以上，IP包甚至達到30ms以上。

可見，雖然擁塞管理可以保證高優先級流量的傳輸帶寬與正常轉發，但會導致較大的時延，對高清視頻等敏感業務造成一定的影響。

通過擁塞避免，則可以有效的解決上述問題。擁塞避免的主要思路是“先覺”，采用簡單、高效的令牌桶技術，對路由器進入的流量進行評估和著色，對鏈路帶寬內的流量標記綠色，超過鏈路帶寬的流量標記紅色，只允許綠色的流量進入到出接口，使得出接口的流量不會超過鏈路帶寬，不產生擁塞。

相對于復雜的CBQ隊列調度機制，擁塞避免采用了簡單、高效的令牌桶流量評估和轉發機制，有效降低了流量的時延。如圖4所示，通過擁塞避免，路由器總體流量達到出接口鏈路帶寬的120%～160%時，將時延控制在5ms左右，大大低于擁塞管理的時延。 

圖4 擁塞避免與擁塞管理時延對比

3、流量路由

傳統的流量控制，每個網絡節點都基于出接口鏈路帶寬獨立執行策略，無法實現主、備鏈路帶寬資源的充分利用。通過流量路由技術，可以實現對多個端口或鏈路進行流量全局調度，動態監測整個節點鏈路的帶寬利用率；在業務突發時，將較低優先級的流量報文重路由到空閑的備鏈路上轉發，避免主鏈路上的流量擁塞，從而盡量避免報文丟棄，提高系統鏈路帶寬的利用率。由于業務突發時不發生丟包，因此能夠維持應用層會話不中斷，提高整體應用系統的可靠性。

流量路由實現流程主要包括以下三部分，如圖5所示： 

圖5 流量路由技術實現流程 

◆流量監測：對進入路由器的所有流量進行統計，獲取優先級、流量大小特征。圖5中，主鏈路帶寬為10M，流量1、2、3、4的保證帶寬分別為2M、2M、4M、2M，實際帶寬分標為2M、2M、3M、5M，其中流量4有突發，實際帶寬大于保證帶寬，流量3的實際帶寬小于保證帶寬。 

◆流量著色：根據流量監測的結果，以及設定的擁塞避免策略，為各類業務流標記顏色，以執行對應的轉發策略。具體原則為：

（1）根據每個業務的保證帶寬、實際流量，對流量報文著色。 

◆當業務流量低于保證帶寬時，標記為綠色；當業務流量高于保證帶寬時，表示有突發，將超過保證帶寬的突發流量標記為紅色。圖5中，流量1、2、3的業務流量標記為綠色，流量4有2M流量標記為綠色，3M流量標記為紅色；

（2）進行多級調度，為業務流量重分配帶寬，從而達到帶寬均衡。 

◆經過步驟（1）后，業務流量包括綠色的正常流量，以及紅色的突發流量。如果某個業務流量小于保證帶寬，則綠色的流量速率小于出接口帶寬，此時可以通過多個業務帶寬重分配，將富余的帶寬分配給一部分紅色的突發流量，使之變為綠色。反之，如果綠色流量的速率大于出接口帶寬，此時可以通過多個業務帶寬重分配，將一部分優先級較低的流量變為紅色。圖5中，流量3的實際流量比保證帶寬小1M，流量1、2、3的綠色流量帶寬為9M，富余的1M將分配給流量4，則流量4有3M流量標記為綠色，2M流量標記為紅色；

（3）可以將紅色的流量進行優先級重標記，打上特定的DSCP優先級，用于執行流量轉發策略。例如，將著色為紅色的流量，標記特殊優先級DSCP11。 

◆流量轉發：根據流量著色結果執行轉發策略。對綠色的流量正常轉發，通過出接口A沿主鏈路轉發；對紅色的流量，按照設定的流量策略，將報文丟棄，或者重路由到出接口B，轉發給相鄰路由器，沿備鏈路轉發。

在實際應用中，為了防止重路由后的流量再重新返回（例如冗余廣域鏈路故障），還需要在主路由器上配置策略，禁止由B接口送出的重路由流量再由接口B返回路由器。

4、精細化流量控制

由于傳統的流量控制只能根據L2～L4報文進行處理，因此需要依靠DPI（深入報文檢測）、ACG（應用流量控制）等技術和設備進行精細化流量識別和控制，并且能夠基于用戶執行靈活控制策略。 

◆DPI：路由器設備的L4～L7層報文特征識別功能，通過CPU實現。優點是路由器軟件集成，不增加額外成本；缺點是識別功能較弱，性能不高。適用于帶寬不高、流量較少的小型網絡。 

◆ACG：采用專用的硬件設備，通過特征庫實現L4～L7層報文特征識別功能，既可以是獨立的硬件設備，也可以是路由器的業務模塊。優點是功能強大，除了報文特征識別外，還可以基于流特征（如持續時間、速率波動、流量統計特征）識別報文特征難以界定或經常變化的應用流量（如P2P流量，經常更改端口號、協議字段）；缺點是需要增加額外投資。適用于帶寬較高、流量比較復雜的中大型網絡。  通過ACG專用設備，還可以使用直觀、易于管理的配置界面，實現復雜的流量控制和調度策略。例如，對廣域網30個分支機構、每個機構5種業務設定帶寬分配和優先級轉發策略。如果通過路由器的分層QoS技術實現，涉及150種QoS策略，配置和實現非常復雜；而通過ACG設備實現，可以通過圖形化界面進行統一配置，部署簡單、直觀。#p#

三、 流量調度方案的主要應用場景

采用流量調度方案，可以滿足不同網絡環境的多樣化流量控制需求。

1、帶寬預留與共享

SDH和IP技術在帶寬分配方面，前者通過時隙劃分帶寬，適合對不同部門和業務分配絕對帶寬，但各部門和業務之間無法做到帶寬共享；后者通過包交換共享帶寬，可以充分利用設備和鏈路資源，但如果需要實現帶寬預留，必須通過復雜的MPLS TE技術，實施難度很大。

對于政府、企業的某些廣域網建設，多個部門、業務共享物理網絡平臺，為了兼顧業務傳輸質量和帶寬均衡，有時需要為關鍵部門和業務分配一定的預留帶寬，保證該業務持續、正常運行，防止帶寬被其他業務占用；同時，也需要各部門和業務能夠共享剩余帶寬，當業務突發時，保證總體帶寬的利用效率。

通過流量調度方案可以很好的實現上述需求，如圖6所示： 

圖6 多部門帶寬預留與共享

在地區A、B的匯聚路由器上，流量調度方案設計如下： 

◆地區A、B之間廣域網鏈路帶寬155M； 

◆為部門1、部門2各預留40M帶寬，剩余75M作為共享帶寬； 

◆為保證視頻質量的穩定，各部門視頻流（10M）只能占用部門預留帶寬，而不能走共享帶寬； 

◆在部門預留帶寬內，數據流量可以自動根據視頻流量大小調整帶寬分配，當沒有視頻流量時，數據流量可以占用全部40M預留帶寬，超過40M的流量占用共享帶寬；有視頻流量（2～10M）時，數據流量只占用剩余的預留帶寬。

2、雙鏈路流量調度

為保證高可靠，廣域網普遍采用主、備冗余鏈路。隨著業務類型和流量的增加，備鏈路已不再只是作為備份，而是與主鏈路進行分擔，共同承載業務流量，實現對廣域網鏈路資源的充分利用。

傳統流量控制設計，都是基于單接口或鏈路的，當該接口或鏈路業務流量超出帶寬后，就會產生丟包。采用流量調度方案，可以針對雙鏈路組網結構，進行跨設備跨鏈路的統一流量調度，從而避免一條鏈路可能嚴重擁塞，而另外一條鏈路卻空閑的情況，最大化利用鏈路帶寬資源。 

圖7 雙鏈路流量調度

如圖7所示，實現方案設計如下： 

◆業務分流：規劃路由、策略路由，生產等重要業務走主鏈路，辦公和視頻業務走備用鏈路； 

◆過載流量調度：主鏈路帶寬被占滿，超過的流量轉發到備鏈路； 

◆帶寬保證：根據業務優先級進行帶寬保證，鏈路故障、流量超載時，優先保證關鍵業務傳輸。

3、帶寬公平調配

對于出口帶寬較小，而人數較多的分支機構，經常會出現由于某個人收發大郵件等，占用大量的帶寬，導致其他人上網速度明顯變慢，甚至可能影響到其他的重要業務，比如視頻會議。而大郵件收發屬于正常辦公業務，傳統的流量控制只能控制所有用戶的辦公業務流量，而不能限制某個用戶的流量。

通過基于在線IP的動態流量調度技術，則可以實現基于終端IP的帶寬公平分配和共享，同時對重要業務進行帶寬保證和優先轉發。 

圖8 帶寬公平分配

如圖8所示，設計方案如下： 

◆對在線用戶進行帶寬公平分配，例如某一時刻在線10人，則每個人員都可以得到至少200K的帶寬。而另一時刻，有20人在線，則每個人可以得到的帶寬則為至少100K。 

◆此外，還可以設定分組，例如A、B、C三組，每個分組設定總體帶寬，并將該帶寬在組內進行公平分配。例如A組保證帶寬500K，A組內10個人在線，則每個人可得到最少50K帶寬。通過設定分組，可以滿足不同類型用戶的網絡訪問需求。 

◆通過上述帶寬公平分配，在總體流量較小時，用戶可以使用富余的帶寬，實現高速網絡訪問；當總體流量較大時，用戶可以保證最低帶寬，滿足正常的辦公和網絡訪問需求。

四、 結束語

流量調度方案更加關注全局、動態、智能，對進入路由器的流量在轉發前進行監測，并根據流量類型、流量突發情況等分配帶寬，執行相應的流量控制策略和轉發策略。同時，流量調度方案所使用的技術、部署方式必須盡可能的簡單，使其能夠真正應用于企業級網絡的不同應用場景，提供鏈路均衡負載、業務獨享或共享帶寬保證、用戶帶寬公平分配、精細化流量識別和控制等功能，適應多業務發展和流量突發環境，使得行業和企業客戶能夠根據業務流量特點和自身需求，制定靈活、精簡、易于管理、可擴展的業務流量管理策略，從而建設快速、高效、可靠的智能廣域網絡承載平臺。