文件内存映射(mmap)之前看過很多文章提及到,但是都沒有寫iOS中具體的實現,隻是都說對于大文件讀寫效率比較高等。所以作者就專門研究了以下mmap技術,并且實現了一下
mmap
文件映射是将文件的磁盤扇區映射到進程的虛拟内存空間的過程。一旦被映射,您的應用程序就會訪問這個文件,就好像它完全駐留在内存中一樣(不占用内存,使用的是虛拟内存)。當您從映射的文件指針讀取數據時,将在适當的數據中的内核頁面并将其返回給您的應用程序。
疑問
那大家就會想了,既然不消耗内存,那豈不是都用mmap就行了,這樣多好啊,又不占内存。其實不然,并不是所有的場景都适合使用mmap的
适合的場景
您有一個很大的文件,其内容您想要随機訪問一個或多個時間。
您有一個小文件,它的内容您想要立即讀入内存并經常訪問。這種技術最适合那些大小不超過幾個虛拟内存頁的文件。(頁是地址空間的最小單位,虛拟頁和物理頁的大小是一樣的,通常為4KB。)
您需要在内存中緩存文件的特定部分。文件映射消除了緩存數據的需要,這使得系統磁盤緩存中的其他數據空間更大。
當随機訪問一個非常大的文件時,通常最好隻映射文件的一小部分。映射大文件的問題是文件會消耗活動内存。如果文件足夠大,系統可能會被迫将其他部分的内存分頁以加載文件。将多個文件映射到内存中會使這個問題更加複雜。
您希望從開始到結束的順序從頭到尾讀取一個文件。
這個文件有幾百兆字節或者更大。将大文件映射到内存中會快速地填充内存,并可能導緻分頁,這将抵消首先映射文件的好處。對于大型順序讀取操作,禁用磁盤緩存并将文件讀入一個小内存緩沖區。
該文件大于可用的連續虛拟内存地址空間。對于64位應用程序來說,這不是什麼問題,但是對于32位應用程序來說,這是一個問題。
該文件位于可移動驅動器上。
該文件位于網絡驅動器上。
實現
這個代碼實現的功能就是首先讀取存儲在我們沙盒的文件,然後在該文件的上繼續寫入數據(追加數據)
#import
"ViewController.h"
#import
#import
int
MapFile( char * inPathName, void
** outDataPtr, size_t * outDataLength );
void
ProcessFile( char * inPathName )
{
size_t dataLength;
void
* dataPtr;
void
*start;
if( MapFile( inPathName, &dataPtr, &dataLength ) == 0
)
{
start = dataPtr;
dataPtr = dataPtr 3;
memcpy(dataPtr, "CCCC", 4);
// Unmap files:
munmap(start, 7);
}
}
// MapFile
// Exit: outDataPtra pointer to the mapped memory region
// outDataLength size of the mapped memory region
// return value an errno value on error (see sys/errno.h)
// or zero for success
//
int
MapFile( char * inPathName, void
** outDataPtr, size_t * outDataLength )
{
int
outError;
int
fileDescriptor;
struct stat statInfo;
// Return safe values on error.
outError = 0;
*outDataPtr = NULL;
*outDataLength = 0;
// open the file.
fileDescriptor = open( inPathName, O_RDWR, 0
);
if( fileDescriptor < 0
)
{
outError = errno;
}
else
{
// We now know the file exists. Retrieve the file size.
if( fstat( fileDescriptor, &statInfo ) != 0
)
{
outError = errno;
}
else
{
ftruncate(fileDescriptor, statInfo.st_size 4);//增加文件大小
fsync(fileDescriptor);//刷新文件
*outDataPtr = mmap(NULL,
statInfo.st_size 4,
PROT_READ|PROT_WRITE,
MAP_FILE|MAP_SHARED,
fileDescriptor,
0);
if( *outDataPtr == MAP_FAILED )
{
outError = errno;
}
else
{
// On success, return the size of the mapped file.
*outDataLength = statInfo.st_size;
}
}
// Now close the file. The kernel doesn’t use our file descriptor.
close( fileDescriptor );
}
return
outError;
}
@interface
ViewController ()
@property (weak, nonatomic) IBOutlet UITextView *mTV;
@end
@implementation ViewController
- (void)viewDidLoad {
[super
viewDidLoad];
NSString *path = NSSearchPathForDirectoriesInDomains(NSDocumentDirectory, NSUserDomainMask, YES).firstObject;
NSString *str = @"AAA";
NSError *error;
NSString *filePath = [NSString stringWithFormat:@"%@/text.txt",path];
[str writeToFile:filePath atomically:YES encoding:NSUTF8StringEncoding error:&error];
if
(error) {
NSLog(@"%@",error);
}
ProcessFile(filePath.UTF8String);
NSString *result = [NSString stringWithContentsOfFile:filePath encoding:NSUTF8StringEncoding error:nil];
self.mTV.text = result;
}
@end
最重要的就是2個函數:
mmap()
void* mmap(void* start,size_t length,int prot,int flags,int fd,off_t offset);start:映射區的開始地址,設置為0時表示由系統決定映射區的起始地址。 length:映射區的長度。//長度單位是 以字節為單位,不足一内存頁按一内存頁處理 prot:期望的内存保護标志,不能與文件的打開模式沖突。是以下的某個值,可以通過or運算合理地組合在一起 PROT_EXEC //頁内容可以被執行 PROT_READ //頁内容可以被讀取 PROT_WRITE //頁可以被寫入 PROT_NONE //頁不可訪問 flags:指定映射對象的類型,映射選項和映射頁是否可以共享。它的值可以是一個或者多個以下位的組合體 fd:有效的文件描述詞。一般是由open()函數返回,其值也可以設置為-1,此時需要指定flags參數中的MAP_ANON,表明進行的是匿名映射。 off_toffset:被映射對象内容的起點。
這裡的參數我們要重點關注3個length、prot、flags。 length代表了我們可以操作的内存大小; prot代表我們對文件的操作權限。這裡傳入了讀寫權限,而且注意要與open()保持一緻,所以open()函數傳入了O_RDWR可讀寫權限;。 flags要寫MAP_FILE|MAP_SHARED,我一開始隻寫了MAP_FILE,能讀,但是不能寫。
munmap()
int munmap(void* start,size_t length);這裡對原來文件追加寫入數據要注意一點,讀取原來文件之後,我們隻有原來文件大小的可寫區域。例如以上例子原文件中是AAA,這時我們要寫入CCCC,做覆蓋寫入的話我們隻能寫入CCC。所以要要對文件進行追加寫入的話,必須提前增加文件的大小即調用ftruncate()和sync(),增加了4位了,最終才能使CCCC順利寫入
,
更多精彩资讯请关注tft每日頭條,我们将持续为您更新最新资讯!