我遇到的问题与我的解决方案

dongnan

本帖最后由 dongnan 于 6-19-2012 15:46 编辑
小弟第一次在 vmsky 发帖，还请各位大侠多帮忙，
先谢谢各位
。
一 当前的vsphere 结构
2个 VCenter 管理着约100台ESXi4.0/1 主机，约 350台左右的虚拟机，供大小几十个项目使用包括 WEB/DB/Cache/代理/等等，平均每台ESXi 主机上运行3-4个虚拟机。
早期的ESXi 主机配置：
Dell R410 服务器，XEON 5506 *2/16GB memory/perc 6i raid1/300GB *2 15K sas硬盘。
近期的ESXi 主机配置：
Dell R610 服务器，XEON 5620 *2/32GB memory/perc 6i raid10/300GB *4 10K sas硬盘。
ESXI网络
每台主机使用2个网卡，使用一台 cisco 3750G 划分两个vlan vlan1与 vlan2 , 接入交换机为ciso 2960G,
ESXI Management network 与 业务内网复用 vmnic0网卡使用 vlan1 网络，业务外网使用 vmnic1 网卡使用vlan2。
二 我遇到的问题
1 ESXi负载极不均衡，有些ESXI主机负载非常高(大项目)，而某些ESXI负载又非常低（小项目）。
2 由于没有使用存储设备(有一台MD3200i一直未用)，而是使用ESXI主机的存储，导致无法使用 vsphere 高级功能，如 vmotion/DRS/HA/FT等。
3 ESXI 主机单点问题，ESXI 主机故障导致其上所运行的虚拟机全部故障，经历过几次ESXI "粉屏"故障记忆犹新。
三 我的方案
计划使用vsphere5 cluster 集群
组成：
ESXi 主机配置：Dell R610 服务器，XEON 5620 *2/64GB memory/16GB U盘 * 20台。
存储：MD3220i 双控制器/600GB 10k sas 硬盘 *24/raid5 + hot spare *2；使用vsphere5 mpio 多路经负载。
备份机：Dell r510 E5620 *1/16GB memory/perc 6i raid5/2TB *12 7.2K sas硬盘。
网络：增加一个专用存储网络，共3个 vswitch ,ESXI Management network 与 业务内网复用 vmnic0网卡使用 vlan1 网络;
      业务外网与iscsi1复用 vmnic1 网卡使用vlan2;iscsi2 使用vmnic2 网卡使用vlan 3。
功能：
整个vsphere 5 集群提供 1TB 内存，160棵cpu 内核，12TB 存储空间，允许2台ESXI 主机故障而不影响服务；
提供HA/DRS/vMotion/FT/MPIO/等高级功能;可以共100-120台标准虚拟机运行(4vcpu/8GBmem/100GB vdisk)
问题:
1 担心存储的io能力，(虚拟机尽量为web/db(从库)/cache服务器)
2 存储故障后影响与恢复时间，虽然使用VDR 备份到 dell r510 服务器，但是恢复时间无法保障。

dongnan

沙发，自己顶下。

TiGi

本帖最后由 TiGi 于 6-19-2012 16:21 编辑
新方案的主机都已经上两位数了，就别用MD3220i了 —— EQL是最基本的了！康贝之类的也可以考虑了。350个VM的话，MD3220i即便是5000IOPS，算下来也就是15 IOPS/VM。所以，一台EQL+一台已有的MD3200i也不一定能够满足需求哦！ 以100台主机，每台使用本地磁盘提供150 IOPS计算，总计的IOPS约1.5万！而配置24个15K SAS硬盘的EQL磁盘本身估计只能提供约4000-5000IOPS  —— 难道你指望通过缓存/算法持续若干小时提供上万的IOPS？
主机的内存，其实可以多配一些，128/144GB起 —— 你可以看一下你现有的环境，CPU负荷肯定不高的(如果内存负荷很高会导致CPU负荷高)。 少些台数，多些内存，节省的钱花在存储网络和存储上。
主机不一定要这么多。配置适当的主机，一台主机支持20、30个小应用VM没有问题的。你现在已经有这么多许可了？ —— 不管有没有ESXi/vC许可，出于资源最大化考虑（如果已经有VMware许可，不管是否足够多，充分利用每份许可总是没错的；而没有许可，这么多机器，被XX可是一个大麻烦哦！ —— 虽然很少听到VMWare做类似的事情，但是一旦开始做了，就是问题了），每个CPU配置64G或者96G内存是比较适合的。
对于VMDR，有个事情需要注意，VMDR的存储对象需要维护的！就过去的经验，VMDR恢复一个VM，用时在十几分钟到几小时（根据VM大小及数据多少而定）；而使用EQL的快照恢复，只要3-5分钟。
出于空间等考虑，可以考虑采用刀片 —— HP、IBM、Dell皆可。

dongnan

谢谢 tigi 大侠
1 一台EQL+一台已有的MD3200i也不一定能够满足需求哦！
虚拟机主要是 web类 与 cache 类服务器 和 db 类
web 类主要是读取 php/asp 等文件，图片等静态另有
其他图片服务器
cache 类如 Lucene/memcache 除了写入syslog 基本没有磁盘io
db 类 读写都有不过有了cache 服务器挡在前边，读取能有效减少了，写入我观察过一个项目最大写入带宽2MB/s 左右
通过cacti 观察过一段时间了，感觉存储带宽要求并不高！
2 主机的内存，其实可以多配一些，128/144GB起
如果是128GB 内存10台服务器就够了。
3 EQL 能否推荐一款？
EqualLogic PS6000XV ?这款怎么样？ 23万

TiGi

PS6000已经停产了。PS6010XV好像也停产了。
23、24万现在能够买怎样的PS6110，这个要看了 —— 建议你直接问Dell —— 如果在上海，我到可以推荐几个Dell的销售(不是代理商/经销商)给你 —— 如果你在上海，并且愿意让Dell的销售找你，可以短消息给我。
如果最求IOPS，可以考虑混插的。

TiGi

我的这个帖子，你可以看看：
http://bbs.hh010.com/thread-36536-1-1.html

dongnan

tigi 热心肠，我在北京，领导不愿意花这么多钱买存储

dongnan

这个帖子我以前看过,膜拜

尾巴

我被彻底折服了，这么多ESX主机，居然没存储

dongnan

我也服了，领导就是不让用存储！  我该如何说服领导

TiGi

虚拟化，存储很重要的 —— vMotion等功能离不开存储。而VAAI等特性也对存储有要求。
购置存储，很可能会持续用个3、5年甚至更长；主机配置不合适的话，拉出来，添加硬件或者挪作他用也很方便。

喜羊羊晓欢

我觉得未来存储是发展方向，牵连的就是数据，前端服务器坏了都不是问题，存储坏了就很恐怖了。我们存储一个闪断，影响面就很广，而且很棘手。

winxp2000

领导不让买存储，就自己做一个
买一个DELL T620服务器，上32个900G 10K的硬盘，然后装个2008R2 企业版 + 我上次发的STROAGE SERVER 2008R2的ISO，装好了就是一个NAS+ISCSCI服务器了
这服务器就可以做你那100多台服务器的存储了（用10Gb 网络会好一些）

TiGi

这么一个组合，价格相对会便宜不少：TB了一把，便宜的大约2000块一个。32个的话，就是6.4W，外加T620，如果按照1.6万计算，差不多8万了 —— 当然实际操作不建议仅仅按照8万来申请预算。

天擎

LD不让买存储的话。那么就利用现状有的一个MD3200i ，然后利用一定数量的主机，加这个存储，实现Vmware HA，DRS，这个集群里面，放一下对于IO要求比较低的虚拟机。
然后再把一些IO要求高的虚拟机，放在单独的主机里面，没有什么HA，做好备份就好了。主机坏了，服务就停机。
既然LD不给预算，那么这个是你可以利用现有的资源做到的最好的结果了。
千万不要想自己做存储一类的，否则，你花了8W，可能LD的要求是40W的存储也做不到的，那个时候，你只有。LD说，我已经花钱了，你怎么还做不到。
与其这样，还不如开始就把丑话说道前面，什么可以做到，什么不可能做到。免得出了事情，要自己背黑锅。