标签：闪存 Intel NVMe Virtual IOPS SSD SAN
Intel测试报告：NVMe SSD构建全闪存架构vSAN-单节点高达15万IOPS
https://blog.csdn.net/urh3t1/article/details/78100323
文章末尾揭晓 赠书 | 容器技术怎样用存储？ 获得赠书的读者。
---本篇文章导读---
VMware vSAN是一款灵活的超融合软件，得益于vSphere成熟而且广泛的生态链，vSAN支持至少14种不同的服务器品牌，拥有至少160多个经过预先认证的 vSAN 就绪节点(Ready Nodes)。另一重要的信息是，由于VMware在私有云无可争议的王者地位，许多新硬件技术出现，都希望能尽快通过vSphere或vSAN的认证。因此，相比传统外置磁盘阵列，vSAN能在较早的时间兼容新的硬件技术。原来有SATA/SAS SSD，后来又有PCIe SSD和NVMe SSD，未来会有NVDIMM SSD（性能将达到SAS SSD的3~6倍）。
如果用户的业务应用是IOPS密集型，可以考虑采用NVMe SSD。关于vSAN的性能细节，可以参考：
VSAN性能剖析及超融合架构性能测试工具-HCIBench简介 & 资料下载
如何选择NVMe SSD，可以参考如下步骤：
一、打开vSAN HCL
http://www.vmware.com/resources/compatibility/search.php?deviceCategory=vsan
如果上面的地址难记，可以采用我的同事-苏旭提供的，非常容易记忆的网址（兼容性 的全拼）：
http://www.jianrongxing.com/
进入后，打开位于网页右边，中部位置的
Build Your Own based on Certified Components
二、
1、选择SSD
2、选择NVMe
3、可以选择，也可以不选择。此处Endurance表示耐久性，也即SSD的寿命。
4、可以，也可以不选择。此处Performance表示性能，指SSD每秒写次数。
---Begin---
在今年8月29日至9月1日于拉斯维加斯举行的VMworld大会上，两位来自Intel的存储解决方案架构师John Hubbard与Chuck Brown发表了“Real World Guidance for Implementing VMware Virtual SAN from Ready Nodes to Build Your Own”的主题演讲，分享了他们在实际工作中构建Virtual SAN的经验。
在VMworld 2015，Intel发布了世界上第一套以NVMe为缓存层，SATA SSD为容量层构建的64节点全闪存Virtual SAN集群性能数据。通过使用Intel最新的NVMe SSD，64节点的全闪存Virtual SAN IOPS性能达到了令人难以置信的670万IOPS，单节点的IOPS突破了10万。
那么问题来了，在VMware Virtual SAN 6.2增加了对去重，压缩以及纠删码的支持以后，是否进一步提高Virtual SAN的性价比与可用性？
Intel的测试结果表明，全NVMe闪存构建的Virtual SAN 6.2与VMworld 2015发布的测试数据相比，获得了50%的性能提升。此外，在同样的业务场景下启用去重/压缩功能后Virtual SAN的实际容量使用率提升了多达7倍。
为什么使用NVMe？
NVMe 全称 Non-Volatile Memory Express，即非易失性存储。NVMe 设备以标准尺寸的PCI Express扩展卡的形式直接面向PCI-E接口，原生与CPU直接连接，而不是传统方式，通过南桥控制器中转，再连接到CPU。这在很大程度上突破了SATA与SAS在传输接口上的瓶颈，降低了控制器和软件接口部分的延迟。
此外，理论上IOPS=队列深度/IO延迟，故IOPS的性能与队列深度有很大关系。传统的SSD最大队列深度一般不超过128，而NVM而标准下，最大队列深度可达64000。因此，理论上采用NVMe接口的SSD性能相比传统接口会有成百上千倍的提高。如图一、二所示，我们在同样的测试环境下分别使用不同类型接口的SSD进行存储性能测试，使用NVMe作为传输接口的SSD在随机IOPS以及顺序带宽上相比传统的SAS与SATA接口都有成倍的性能提升。
图一 NVMe与传统传输接口的存储性能对比（随机IOPS）
图二 NVMe与传统传输接口的存储性能对比（顺序带宽）
VMware在Virtual SAN 6.2中加入了对NVMe设备的支持，这使得在全闪存架构中使用全NVMe闪存成为可能。
全NVMe闪存Virtual SAN集群
全NVMe闪存Virtual SAN集群由8台SuperMicro服务器组成，每台服务器的具体配置信息如下：
双路Intel Xeon E5-2687Wv4（12核@3.0Ghz）
256GB DDR4内存
Virtual SAN节点由4个磁盘组构成，每个磁盘组的信息如下：
-
1x Intel SSD DC P3700系列（800GB, 2.5’’）
-
5x Intel SSD DC P3520系列（2000GB, 2.5’’）
网卡基于万兆网络（2块）
ESXi软件版本为最新的6.2，安装在独立的驱动盘上。在将8台服务器添加进Virtual SAN集群后，总计裸闪存空间为345TB。其中Virtual SAN缓存层容量为25TB，容量层为320TB。
测试介绍
为了全面测试全NVMe闪存架构Virtual SAN的性能，我们在以下四种不同的配置环境下进行了性能测试，包括：
-
高性能模式：关闭去重/压缩，只启用镜像模式RAID 1
-
平衡模式：启用去重/压缩，启用镜像模式RAID 1
-
高容量模式：启用去重/压缩，启用纠删码RAID 5
-
高可用性模式：启用去重/压缩，启用纠删码RAID 6
为了便于对比，我们将高性能模式做为测试基准。在测试中，我们在Virtual SAN数据存储上部署了2000台Windows 2012 R2虚拟机，每台虚拟机的具体配置如下：
| 虚拟硬件配置 | 具体参数 |
| CPU | 1 vCPU |
| 内存 | 4GB |
| OS盘 | 40GB精简置备 |
| 数据盘 | 10GB厚置备 |
测试的工作负载由业界标准存储性能测试工具生成。每次测试运行3小时，以确保实际性能数据真实有效。
测试结果
经过测试，8节点全NVMe闪存架构Virtual SAN的平均IOPS达到了难以置信的120万，这意味着平均每个节点的IOPS达到了破纪录的15万！相比先前全闪存配置单节点的10万IOPS增加了50%！
图三 8节点全NVMe闪存架构Virtual SAN集群在不同模式下的性能
如图三所示，在基准的高性能模式下，整个Virtual SAN集群的4K 100%全读IOPS达到了最大值120万，在4K 70/30读写模型可达到90万；在平衡模式下，IOPS为基准的89%，但却多出了额外250%的实际可用容量；在高容量模式下，4K 70/30读写模型的IOPS为基准的55%,而4K全读的IOPS为基准的78%。但是实际的有效可用容量比基准模式增加了376%；在RAID 6的高可用性模式下，4K 70/30读写模型IOPS为基准的41%，而4K全读的IOPS为基准的76%。但与此换来的是333%的实际可用容量和额外的组件故障情况下的数据可用性。
同样让人印象深刻的还有数据存储集群的构建成本，由于Virtual SAN 6.2针对全闪存新增的去重和压缩功能，实际有效容量增加了7倍，实际每GB的成本从1.86美元下降到了0.25美元。
图四 不同配置模式下的数据可用性与成本开销
成本计算分为每GB成本，和每个I/O的成本，以美元计价。如图四所示，在基准的高性能模式下，实际每GB的成本为1.86美元，根据4K 100%全读计算出每个IOPS的I/O成本为0.23美元。与高性能模式的基准值相比较，在平衡模式下，实际每GB成本为0.37美元，I/O成本为0.25美元；在高容量模式下，实际每GB成本为0.25美元，I/O成本为0.29美元；在高可用性模式下，实际每GB成本为0.28美元，I/O成本为0.29美元。
总结
虽然在测试中我们将Virtual SAN配置为四种不同的模式分别进行了性能测试和存储成本比较。但是在实际的生产测试环境中，通过Virtual SAN基于存储策略的管理（Storage Policy Based Management，SPBM）可以针对不同的业务应用需求对虚拟机的VMDK在线应用不同的存储策略。这使得用户在投入相同成本的前提下，可以在高性能、高容量、高可用性之间获得最佳的平衡。
由于Virtual SAN本身具有优异的横向扩展能力，通过使用NVMe SSD构建全闪存架构Virtual SAN，可以使用户使用更少的节点获得所需的集群存储性能。此外，单节点15万IOPS的线性存储性能提升也帮助用户在横向扩展Virtual SAN集群存储性能时变得更加简洁迅速。
说明
本文内容由VMware中国研发中心存储与高可用性事业部Virtual SAN解决方案团队（Product Enablement, PE）丁楠根据VMworld主题演讲整理发布。Virtual SAN解决方案团队致力于向客户提供最佳的Virtual SAN与行业关键应用融合解决方案，并承担Virtual SAN产品、技术和解决方案在中国地区的推广与技术支撑任务。
---End---
标签：闪存,Intel,NVMe,Virtual,IOPS,SSD,SAN 来源： https://blog.csdn.net/z136370204/article/details/113245592
本站声明： 1. iCode9 技术分享网（下文简称本站）提供的所有内容，仅供技术学习、探讨和分享； 2. 关于本站的所有留言、评论、转载及引用，纯属内容发起人的个人观点，与本站观点和立场无关； 3. 关于本站的所有言论和文字，纯属内容发起人的个人观点，与本站观点和立场无关； 4. 本站文章均是网友提供，不完全保证技术分享内容的完整性、准确性、时效性、风险性和版权归属；如您发现该文章侵犯了您的权益，可联系我们第一时间进行删除； 5. 本站为非盈利性的个人网站，所有内容不会用来进行牟利，也不会利用任何形式的广告来间接获益，纯粹是为了广大技术爱好者提供技术内容和技术思想的分享性交流网站。