PostMark: A New File System Benchmark （2）

V. The Results 

PostMark has been run on a variety of system and storage configurations, both attached and networked. Both Network File System (NFS) and Microsoft CIFS remote storage access protocols were used as necessary. 

PostMark was configured in three different ways: 

 1000 initial files and 50000 transactions 

 20000 initial files and 50000 transactions 

 20000 initial files and 100000 transactions 

All other PostMark parameters were left constant at the default values. 

The NFS benchmark was performed on a Sun Microsystems Ultra 1/170 with 256 Mbytes RAM running under the Solaris 2.5 operating system. The following configurations were tested: 

 UFS - The Solaris standard Unix File System (derived from the Berkeley Fast File System) 

 TMPFS - A memory-based temporary file system operating in buffer cache (no persistent files, but included to show hardware capabilities without disk bottlenecks) 

 ODS/R0 - A software disk array (Sun Online Disk Suite) providing only striping 

 ODS/R5 - A software disk array providing parity and striping across the pool of disk drives (RAID5) 

5 of 8 10/8/97 3:35 PM 

NFS/F330 - NFS to Network Appliance F330 over 100 Mbit/s CDDI (WAFL/RAID4) 

 NFS/F630 - NFS to Network Appliance F630 over 100 Mbit/s CDDI (WAFL/RAID4) 

1000/50000	UFS	TMPFS	ODS/R0	ODS/R5	NFS/F330	NFS/F630
Transactions per second	36	2000	63	23	139	253
Data read (Kbytes/sec)	115.67	4880	199.73	74.13	441.71	799.91
Data written (Kbytes/sec)	118.27	7330	204.22	75.79	451.64	817.89

Table 1: PostMark Results for Unix and NFS (1,000 initial files and 50,000 transactions) 

20000/50000	UFS	TMPFS	ODS/R0	ODS/R5	NFS/F330	NFS/F630
Transactions per second	15	438	29	14	76	176
Data read (Kbytes/sec)	29.93	663.64	56.60	27.05	177.68	383.41
Data written (Kbytes/sec)	54.22	1530	102.54	49.00	321.88	694.58

Table 2: PostMark Results for Unix and NFS (20,000 initial files and 50,000 transactions) 

20000/100000	TMPFS	ODS/R0	ODS/R5	NFS/F330	NFS/F630
Transactions per second	335	30	14	74	169
Data read (Kbytes/sec)	613.03	73.19	35.05	204.72	446.69
Data written (Kbytes/sec)	1160	101.17	48.46	282.98	617.45

Table 3: PostMark Results for Unix and NFS (20,000 initial files and 100,000 transactions) 

The results demonstrate that UFS is an extremely poor performer in the PostMark application domain, and degrading even more under heavy load. When software-based disk array solutions are tested (still using UFS as a file system), performance is improved in a striped environment, but RAID5 is worse than the standard UFS configuration. NFS performance with NetApp filers, however, ranges from four times to nearly an order of magnitude better than the baseline configuration, demonstrating the applicability of network attached storage to this class of solution. TMPFS provides the best overall performance, but as it is effectively a RAM-disk solution, it is not a practical alternative for large-scale deployment. 

The CIFS benchmark was performed on a Compaq ProLiant 5000 equipped with a 200 MHz Pentium Pro, 128 Mbytes RAM, and the Compaq SMART-2 Disk Array Controller. The system was running the Microsoft Windows NT 4.0 operating system. The following configurations were tested: 

 FAT - The basic Microsoft file system inherited from DOS 

 NTFS/R0 - Microsoft NTFS on a striped volume managed by the Compaq Disk Array Controller 

 NTFS/R5 - NTFS on a parity/striped (RAID5) volume managed by the Compaq Disk Array Controller 

6 of 8 10/8/97 3:35 PM 

CIFS/F330 - CIFS to Network Appliance F330 over 100 Mbit/s Fast Ethernet (WAFL/RAID4) 

 CIFS/F630 - CIFS to Network Appliance F630 over 100 Mbit/s Fast Ethernet (WAFL/RAID4) 

1000/50000	FAT	NTFS/R0	NTFS/R5	CIFS/F330	CIFS/F630
Transactions per second	212	245	144	135	166
Data read (Kbytes/sec)	675.55	776.42	451.63	427.61	522.02
Data written (Kbytes/sec)	690.74	794.18	461.79	437.22	533.75

Table 4: PostMark Results for Windows and CIFS (1,000 initial files and 50,000 transactions) 

20000/50000	NTFS/R0	NTFS/R5	CIFS/F330	CIFS/F630
Transactions per second	69	37	66	139
Data read (Kbytes/sec)	168.24	90.61	143.83	275.94
Data written (Kbytes/sec)	304.78	164.14	260.55	499.89

Table 5: PostMark Results for Windows and CIFS (20,000 initial files and 50,000 transactions) 

20000/100000	NTFS/R0	NTFS/R5	CIFS/F330	CIFS/F630
Transactions per second	41	36	68	141
Data read (Kbytes/sec)	179.88	101.14	178.21	350.31
Data written (Kbytes/sec)	248.64	139.81	246.33	484.23

Table 6: PostMark Results for Windows and CIFS (20,000 initial files and 100,000 transactions) 

In the Microsoft Windows NT environment, local disk drives show superior performance to network attached storage for smaller numbers of active files. Under heavier loads, both FAT and NTFS volumes (despite the dedicated hardware support provided by the Compaq SMART-2 Disk Array Controller) degrade at a faster rate than even UFS. The NetApp filers, providing network-attached storage via the CIFS protocol, maintain a much more constant level of performance, allowing a superior quality of service even at the heaviest measured workloads. 

VI. Future Directions 

PostMark generates its workloads by originating as many sequential operations as it can within a specified time limit. While providing useful results from this workload, PostMark could be extended to provide: 

 Multiple writers/single reader 

 Single writer/multiple reader 

 Multiple writers/multiple readers 

These additions would allow flexible simulation of many possible disk intensive workloads in addition to 

7 of 8 10/8/97 3:35 PM 

the existing PostMark model. 

VII. Summary 

The SPEC SFS benchmark has inspired improvements in NFS file servers offered by a wide variety of vendors, and a similar effect is possible with PostMark. Using the PostMark benchmark to highlight performance bottlenecks triggered by ISP workloads, server vendors (including NetApp) can enhance the performance of their products in the ISP context. 

The PostMark results presented in this paper confirm the experiences reported by ISPs (Internet Service Providers), where large-scale loads require the greatest possible performance from every file system. At numerous first-tier ISPs worldwide, NetApp filers have been deployed to address these large and growing requirements for maximum performance without compromising reliability. 

Information | About NetApp | News | Products | Sales | Support