|
寫(xiě)這個(gè)系列原本的想法是討論一下.NET中異步編程風(fēng)格的變化,特別是F#中的異步工作流以及未來(lái)的.NET 5.0中的基于任務(wù)的異步編程模型。但經(jīng)過(guò)三篇文章后很多人對(duì)IO異步背后實(shí)現(xiàn)的原理以及為什么這樣能提高性能很感興趣。其實(shí)我本不想花更多的文字在這些底層實(shí)現(xiàn)的細(xì)節(jié)上,一來(lái)我并不擅長(zhǎng)這些方面,二來(lái)我們使用.NET的異步IO就不需要關(guān)心這些底層?xùn)|西,因?yàn)橐呀?jīng)為你封裝完備了。不過(guò)為了避免大家一再在這上面商討,我還是在這個(gè)系列中間插入了一篇來(lái)解釋一下。
本文我將從內(nèi)核對(duì)象IO完成端口開(kāi)始介紹,然后來(lái)瞧瞧.NET BCL中的FileStream.BeginRead是如何利用IO完成端口來(lái)實(shí)現(xiàn)的。
IO完成端口(IO Completion Port)
大多數(shù)人應(yīng)該或多或少地聽(tīng)說(shuō)過(guò)IO完成端口這么個(gè)東西,而且也知道它是實(shí)現(xiàn)高性能IO,高伸縮性應(yīng)用的尚方寶劍。IO完成端口是一個(gè)非常復(fù)雜的內(nèi)核對(duì)象,其實(shí)現(xiàn)的也非常巧妙,細(xì)細(xì)琢磨還是非常有意思的。
創(chuàng)建高伸縮性的應(yīng)用的一個(gè)基本原則就是:創(chuàng)建更少的線程。線程數(shù)更少首先消耗的資源就少,每個(gè)線程的創(chuàng)建除了要浪費(fèi)CPU時(shí)間外,還要?jiǎng)?chuàng)建一系列的數(shù)據(jù)結(jié)構(gòu)用來(lái)保存線程相關(guān)的一些信息:用戶棧,線程上下文,內(nèi)核棧等。這個(gè)總共加起來(lái)大概1.5M左右,那么你算算你的32位機(jī)器總共能使用多少內(nèi)存?那么對(duì)應(yīng)地能創(chuàng)建多少線程?
可能有人講那對(duì)于64位的就無(wú)所謂了。嗯,在資源占用這方面64位確實(shí)不用擔(dān)心。但是系統(tǒng)中可運(yùn)行的線程數(shù)越多,你的CPU數(shù)又是有限的(8個(gè)?80個(gè)?)。Windows的任務(wù)調(diào)度機(jī)制是每個(gè)線程會(huì)運(yùn)行一個(gè)時(shí)間片,然后Windows搶占式的調(diào)度另一個(gè)線程運(yùn)行。那么線程數(shù)越多,Windows勢(shì)必要進(jìn)行更頻繁的線程上下文切換。線程上下文切換對(duì)系統(tǒng)性能的影響在這里我就不多說(shuō)了,你可以搜搜資料。
那么如何做到創(chuàng)建更少的線程,而又干更多的事兒呢?答案就是“不等待”。相對(duì)CPU來(lái)說(shuō),IO設(shè)備的速度簡(jiǎn)直低的要命。就好像飛機(jī)和拖拉機(jī)的差別一樣,我們可不能讓拖拉機(jī)拖了飛機(jī)的后退兒。而IO完成端口就是為了這個(gè)而生的:創(chuàng)建更少的線程,干更多的事兒。
IO完成端口首先不是一個(gè)我們看得見(jiàn)摸得著的什么插口,也和我們常說(shuō)的80這樣的端口不同。你可以將其理解為一個(gè)數(shù)據(jù)結(jié)構(gòu)或一個(gè)對(duì)象(下面我會(huì)用C#的代碼來(lái)輔助講解IO完成端口,僅僅是講解,這些代碼并不是真實(shí)的實(shí)現(xiàn)):
Windows提供了一個(gè)CreateIoCompletionPort API來(lái)創(chuàng)建IO完成端口,實(shí)際上這個(gè)API有兩個(gè)作用:創(chuàng)建IO完成端口和將一個(gè)IO設(shè)備與該端口綁定。創(chuàng)建IO完成端口時(shí)有一個(gè)很重要的參數(shù):指定同時(shí)最多能有多少個(gè)線程并行運(yùn)行,這就是為了保證更少的線程,如果你將這個(gè)數(shù)值指定為0,那么默認(rèn)值就會(huì)是你機(jī)器的CPU數(shù)。IO端口里還有一個(gè)IO設(shè)備句柄列表,你可以將很多設(shè)備句柄與這個(gè)端口綁定(文件、Socket等):
//函數(shù)原型
HANDLE CreateIoCompletionPort(
//設(shè)備句柄
HANDLE hFile,
//已有的IO完成端口句柄,如果這里已經(jīng)指定,則是將前面指定的設(shè)備與該端口綁定
HANDLE hExistingCompletionPort,
//因?yàn)橐粋€(gè)IO完成端口可以綁定很多設(shè)備,可以用這個(gè)來(lái)區(qū)分
ULONG_PTR CompletionKey,
//允許同時(shí)運(yùn)行的線程數(shù)
DWORD dwNumberOfConcurrentThreads
);
//創(chuàng)建一個(gè)IO完成端口
HANDLE hIoPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE,NULL,0,2);
//創(chuàng)建文件,如果要異步訪問(wèn)文件則需要指定FILE_FLAG_OVERLAPPED
HANDLE hFile = CreateFile(..);
//將上面創(chuàng)建的文件句柄與剛才創(chuàng)建的IO完成端口綁定,不僅僅是文件可以
CreateIoCompletionPort(hFile,hIoPort,1,2);
NET技術(shù):.NET中的異步編程- IO完成端口以及FileStream.BeginRead,轉(zhuǎn)載需保留來(lái)源!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。