ESXi 6.7 万兆 2.5G 软路由 NAS 影音中心
分享下这几年玩软路由和nas的一些经验
帖子太长了，分了3楼
一：关于exsi硬件的建议
1.硬件看自己的需求，
要求高的上配置好点的，
要求不是很高的，j1900，N3150，N3700，J3455之类的cpu也是可以的，
主要是功耗低，不过性能差了点。
单独用作软路由或者NAS还是很够用的。
建议CPU最好i3以上，支持直通，内存最少4G，越大越好。
网口至少2以上，加上交换机和AP，所有网线网络设备接在交换机上，无线设备连AP。
最好多网口，软路由直通网口，NAS直通网口，然后全部接交换机上，减轻主机的负担。
单网口主板的最好加网卡，USB网卡也是可以的,
家用尽量不要单网卡玩单臂，VLAN之类的，麻烦，出了问题不在家时家人根本搞不定。
usb网卡的芯片基本都是RTL8153芯片,AX88179芯片，
EXSI，openwrt，群晖都有驱动。
AX88179安卓可以直接识别，手机平板电视都能直接识别。
小米投影这2种网卡都能识别。
2.主硬盘最好买牌子货的SSD，
SSD读取速度都差不多够用了，主要是写入速度的差别，现在SSD都带模拟SLC缓存，如果大量文件写入爆了缓存后写入速度掉很多，品牌的还有几百兆的速度，杂牌的则惨不忍睹，写入速度只剩下50MB/秒左右了，和U盘差不多了。
在极端状态下，如果有的虚拟机在写入很多数据时间太长，就会影响别的虚拟机了。
比如我的一台电脑上的SM961和PM981的区别，一个MLC,一个TLC，都是256G。
测速PM891好过SM961，平常实际使用效果一样的。
但是我复制一个18G的电影，
SM961写入速度从头到尾一直1.4GB/秒，
PM981-256G刚开始写入速度1.5GB/秒，坚持不到10秒不到爆缓存后只有300MB/秒了。
512G的好点，爆缓存后有700MB/秒。
3.机械硬盘也要注意是不是SMR叠瓦式的，
仓库盘很少写入无所谓，
当常用盘就要注意了。
它在有数据的情况下重新写入速度会变得很慢很慢，
有一块15年的希捷5T，
到数据的时候，发现写入速度越来越慢，只有20MB/秒左右，我先以为硬盘出来问题，结果smart看没问题，百度一搜型号发现是SMR硬盘。
百度很多介绍这个的。
现在容量小也有叠瓦式硬盘了。
容量大的PMR硬盘也有，比如：my book 拆出来10t的氦气盘就是。
到数据时写入1T左右的电影，全程100MB/秒以上。
二：关于普通电脑运行EXSi的稳定性
大概90天的时候截的图。
三：达到的效果:千兆和万兆
1.设备：
软路由比普通路由器的性能好太多了，不要只看测速，虽然测速看起来速度差不多。
但是实际使用中，多人看视频，迅雷下载，bt，多线程耗资源，
特别是开了-去-广-告，和在大带宽的情况下，差距更加明显，
路由器性能差了就带不动，
很多人在开了-去-广-告，测速下降了一大截就是这个原因，
或者大带宽下迅雷下载达不到最高速度，用了软路由后就不再想换普通路由了。
主要用的几个虚拟机：
爱快或者高恪主路由，LEDE -去-广告-之类的，
windows下载网盘同步媒体中心等等，
NAS提供照片备份，文件同步之类的。
性能还行，用了2年多了一直没出问题。
1号exsi主机：小马v5
i3 5005U
16G内存
4个千兆网口
1块120G的SSD装ESXi,
1块960G的SSD直通群晖
1块usb3.0的希捷5T笔记本硬盘，
最低功耗14W，最高功耗22W，
一天大概0.28度电，小米插座测的。
交换机：水星16口千兆，最高功耗7W，设备少的时候4W。
交换机：铁壳8口千兆，功耗2W-3W。
AP:3个k2p刷的高恪，支持802.11r快速漫游。
3W-9W之间，感觉有点问题，没有LEDE的好，三星的漫游不掉包，苹果小米的掉包掉线。
后来又买了3个mg1200ac试了下，支持802.11k，r，v，漫游，
小米MIX2S基本不掉包，不过没有功放，信号不怎么样。
2号exsi：万兆
以前的万兆网卡功耗都不低，
x540-t2在待机状态不插网线6W，插上网线后12W，工作时功耗更高
单网卡就抵得上小马v5的全套功耗了。
R8125;
2.5G网卡待机1W
AQC107；华硕技嘉群晖的单口5速网卡都是这个芯片，
1G-2.5G-5G-10G网卡 5速，待机2-3W
机箱：蜗牛星际B
主板：B250itx
Cpu：8700t
网卡：x540-t2万兆双口，
自带的千兆网卡
还有1个m2的wifi口可以用延长线扩展。
不带网卡：21W
加上X540-T2后：33W
1盘38-44W
2盘43-51W
3盘48-57W
4盘53-68W
2.宽带速度
高恪联通200m双拨，测速500m，电脑迅雷下载60MB/秒，手机下载50MB/秒。
3.网线速度 无线速度
开启smb3.0，
2网卡速度合计200MB/秒。
3网卡速度合计300MB/秒。
手机和NAS之间复制文件:
ES浏览器SMB模式只有20MB/秒，建议用FTP模式或者webDAV模式，速度可以到70MB/秒。
X-plore支持smb2，速度可以到50MB/秒，FTP可以到70MB/秒。
电脑无线网卡速度
电脑网线连路由器，路由器5G无线中继上级路由
都能跑满千兆。
由于无线干扰的原因，
如果电脑5G连路由器，路由器5G无线中继上级路由，
速度只有40MB/秒的速度，
不论是4天线1733M的路由还是2天线866M的路由结果都是一样。
斐讯E1百兆网口，5G到5G扩展wifi一样能跑出30MB/秒的速度。
4.万兆软路由
不开巨帧的速度：
开启巨帧的速度：
5.现在新出的2.5G网卡速度
四：家庭影影音中心
网上教程多的是,只上几张截图吧。
威动影音：小白级的，没有用户之分所有的设备都是一个播放记录，几年没更新了，手机版的用起来很方便。
Windows 群晖 都有服务端
jellyfin：emby的分支，免费。Emby，plex是收费的。
每个用户都有自己的播放记录，喜好等等。
都有服务端和客户端。
群晖的视频做的也挺好的，电视版，手机版的也不错，
手机版需要调用外部播放器,mxplayer。
Kodi 客户端自带媒体库。
未完
2楼
3楼
五：下面是EXSi的一些经验分享
自己封装的exsi6.7 up3 的ISO
链接在最下面，
ESXi-6.7.0-u3-20191204001-standard-customized-net-sahci
用UltraISO写入u盘引导电脑安装就行了。
集成了网卡和sata等以下几个驱动。
集成了usb千兆网卡：RTL8153芯片,AX88179芯片，的驱动，
默认不启用，可以分配给虚拟机。
想要当成exsi能使用的网卡，需要命令行启动:
开启USB自动网卡识别成本地网卡：
Exsi开启SSH，
用SecureCRT链接，
输入：
esxcli system module set -m=vmkusb -e=FALSE
回车
reboot
重启exsi
开机后USB网卡会直接识别成本地网卡，虚拟机就无法通过添加USB设备添加了。
关闭USB网卡识别：
Exsi开启SSH，
用SecureCRT链接，
输入：
esxcli system module set -m=vmkusb -e=TRUE
回车
reboot
重启exsi
开机后USB网卡可以分配给虚拟机。
1.安装EXSi
1.安装过程网上教程很多，在网上下载大神们集成好网卡和SATA驱动的安装包，按照步骤来就行了。
2.安装位置可以在U盘和硬盘都行，支持NVme ssd。
3.建议用nvme安装，
Nvme上虚拟ssd的速度
EXSi对NVme和U2接口的SSD支持的很好，直接驱动。
服务器万兆网卡都是可以直接识别的，比如intel的X520,X540,X550。
X550是现在的5速网卡，支持1G，2.5G，5G，10G。
安装在U盘后剩余空间是不能直接作为存储空间使用的，
如果想直通主板SATA控制器，系统盘是不能接在主板SATA上的。
网上的都是6.0的教程，
6.7的安装过程如下：
我的U盘32G，
Exsi开启SSH，
用SecureCRT链接，
输入：
cd /vmfs/devices/disks
回车
输入：
Ls
回车
得到回复：
t10.Netac___OnlyDisk________
t10.Netac___OnlyDisk________:1
t10.Netac___OnlyDisk________:2
t10.Netac___OnlyDisk________:3
t10.Netac___OnlyDisk________:5
t10.Netac___OnlyDisk________:6
t10.Netac___OnlyDisk________:7
t10.Netac___OnlyDisk________:8
t10.Netac___OnlyDisk________:9
vml.0100000000454444354331344338393344423243345465636c6173
vml.0100000000454444354331344338393344423243345465636c6173:1
vml.0100000000454444354331344338393344423243345465636c6173:2
vml.0100000000454444354331344338393344423243345465636c6173:3
vml.0100000000454444354331344338393344423243345465636c6173:5
vml.0100000000454444354331344338393344423243345465636c6173:6
vml.0100000000454444354331344338393344423243345465636c6173:7
vml.0100000000454444354331344338393344423243345465636c6173:8
vml.0100000000454444354331344338393344423243345465636c6173:9
t10.Netac___OnlyDisk________
就是硬盘标识了
输入：
partedUtil getptbl t10.Netac___OnlyDisk________
回车
得到回复：
gpt
3824 255 63 61440000
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 vmk
U盘大小不一样，这个数字就不一样
61440000-34=61439966
输入：
partedUtil setptbl t10.Netac___OnlyDisk________ gpt \
“1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 128” \
“5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0” \
“6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0” \
“7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0” \
“8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0” \
“9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 0” \
“2 7086080 15472639 EBD0A0A2B9E5443387C068B6B72699C7 0” \
“3 15472640 61439966 AA31E02A400F11DB9590000C2911D1B8 0″
回车
输入:
vmkfstools -C vmfs5 -b 1m -S UsbDatastore t10.Netac___OnlyDisk________:3
回车
格式化分区3
等待时间看U盘大小，一直要等到格式化完成才行。
U盘存储出来了，
2.ESXi直通主板SATA
6.0和6.5可以直通，
6.7有bug不能直通，
6.7up1，up2，up3可以直通。
有些主板默认是关闭的，需要在bios设置里打开VT-D
EXSi开启SSH
用winSCP修改配置文件/etc/vmware/passthru.map
最底下加入，保存。
# Union Point-H AHCI Controller
8086 a282 d3d0 default
重启主机。
但是小马V5的直通主板SATA坑了我不少时间，
原因是买了个乐扩minipie转2口SATA，芯片是ASM1061，但是在EXSi里显示的是ASM1062，可以直通但是无法启动虚拟机。
在小马V5上面可以直通，但是虚拟机无法启动，错误信息：无法注册pci，6.0，6.5，6.7都试过一样失败。
台式机直通又没有问题。
应该是兼容问题了。
后来就想直通主板SATA。
主板SATA灰色无法直通，ESXi安装在U盘上，主板SATA也是灰色灰色无法直通，而且不接硬盘直接不显示出来。
这个主板SATA控制器很奇怪，不插硬盘直接不显示，插了硬盘才会显示出来。
后来把1块ssd接乐扩转的SATA上，主板sata接硬盘(必须要接硬盘，不然直通列表里不显示)，直通主板SATA成功，修改配置文件。
ESXi开启ssh，
ssh链接ESXI
输入
lspci -v | grep “Class 0106” -B 1
查看SATA控制器
我的主板是:
Intel Corporation AHCI Controller
class 0106：8086:9c83
记下数值8086:9c83
修改配置文件，可以用vi命令修改
vi /etc/vmware/passthru.map
i键插入，最下面加入2行
#Intel Corporation Lynx Point AHCI Controller
8086 9c83 d3d0 fasle
Esc键退出编辑
输入:wq 保存文件并退出vi
注：8086 9c83是我的主板SATA数值。
也可以用winSCP修改配置文件/etc/vmware/passthru.map
最底下加入，保存。
#Intel Corporation Lynx Point AHCI Controller
8086 9c83 d3d0 fasle
注：8086 9c83是我的主板SATA数值。
直通到windows虚拟机下可以看见硬盘信息，可以休眠。
直通到群晖虚拟机可以看见硬盘smart信息，不休眠，
主要原因是有些硬件功能黑裙没有，
会把错误日志写入硬盘造成无法休眠，
修改脚本把log写入内存，
不写入硬盘，硬盘就能休眠了。
我用过的
Pcie转SATA口
转接转出来的几个口都是共享pcie 2.0带宽，比不上主板自带sata的速度。
2口的 ASM1061
4口的Marvell 9215
Win，群晖，op都可以支持的设备
Pcie转USB3.0
NEC UPD720202
Win，群晖，op都可以支持的设备
无线网卡：
BCM943602CS
5G-1300M 3天线
Win，op都可以支持
有线网卡:
千兆一般都支持
万兆:X540-t2
Win，群晖，op都可以支持
2.5G网卡r8125
Win，openwrt cc 石像鬼可以支持
Aqc107只有win支持
USB网卡
RTL8153
AX88179
Win，群晖，op都可以支持，
ax88179支持安卓手机平板电视
2.5G USB网卡r8156
Win，op可以支持
直通NVME
1x的速度只有350MB/秒左右
直通万兆网卡
1x的速度只有350MB/秒左右
3.网络设置
我用的是192.168.10网段，最好不要用192.168.1的网段，很多网络设备都是这个网段，容易ip冲突出现奇怪的问题。
ESXi内部网络要先建立虚拟交换机，再建立端口组绑定虚拟交换机才能有网络接口给虚拟机使用。
简单点说，
虚拟交换机连接物理网卡，（只供内部虚拟机连接的可以不绑定物理网卡），
端口组内部虚拟机连接用的。
准备当管理端口的网口插上网线，
显示connected就是插网线的网口。
X表示选中，空格键选择。
默认有一个虚拟交换机
vSwitch0
vSwitch0
管理端口组就链接在上面
如果只有2个网口的机器，1个网口做WAN，
1个网口做LAN和管理网口共用。
端口组lan绑定到虚拟交换机vswitch0上。
比如：
建立WAN交换机
添加标准虚拟交换机
wan绑定的vmnic2网卡，
（如果不绑定网卡，就是建立ESXi内部交换机，内部虚拟机互联）。
混杂模式–接受
选中，不选的话，
有些情况下会有奇怪的问题，比如:
无法获取ip地址之类的问题
建立wan端口组
绑定wan交换机，保存。
以后vmnic2网卡就是WAN口了。
剩下网口的类似。
网络:
软路由第1个是LAN，第2个是WAN。
win，群晖都是LAN，看自己的网络情况。
4.部署虚拟机模板:
可以到我分享的百度网盘下载模板直接部署，
群晖仅供体验。
群晖的5.2，未洗白，图库有缩略图。
群晖的6.0，6.1，6.2，未洗白，图库没有缩略图。
VMware vSphere Client可以导出exsi6.0的ovf。
VMware Workstation Pro也可以登录EXSi后下载虚拟机后导出ovf，支持exsi6.7。
5.爱快或者高恪+openwrt，
利用openwrt支持2.5G网卡
LEDE旁路–去–广–告–等等别的功能。
注意：
EXSi建立软路由虚拟机：
客户机操作系统名称：其他 3.x Linux (64 位)
网卡只建立一个，（一般虚拟机的第1个网卡在软路由中是LAN，第2个是WAN，同时建立2个网卡可能会造成混乱,可能在虚拟机里第1块网卡是WAN，第2块网卡变成LAN）
虚拟机创建完成后，编辑虚拟机再建立第二个网卡。
客户机操作系统名称：其他 3.x Linux (64 位)
网卡只建立一个，（一般虚拟机的第1个网卡在软路由中是LAN，第2个是WAN，同时建立2个网卡可能会造成混乱,可能在虚拟机里第1块网卡是WAN，第2块网卡变成LAN）
虚拟机创建完成后，编辑虚拟机再建立第二个网卡。
2个虚拟机的LAN都连接端口组LAN
Openwrt不勾选wan的连接。
设置主路由：
我现在因为k2p刷的高恪做AP，所以主路由用高恪了，和爱快的功能差不多。
开启高恪虚拟机：
高恪在ESXi中虚拟网卡下无法多拨，直通网卡才能多拨，LEDE和爱快在虚拟网卡下多拨没问题。
爱快虚拟机部署后需要先在控制台设置LAN和WAN绑定网卡。
浏览器输入：
地址:192.168.1.1
密码:admin
设置：
设置好外网使路由能上网，我的支持多拨，设置的多拨。
内网ip：192.168.10.1
保存&应用，自动重启。
有时候电脑换网络后不会自动重新获取ip，
电脑网卡禁用，再开启。
浏览器输入：
地址:192.168.10.1
密码:admin
DHCP设置：
网关ip：192.168.10.2
DNS服务器;192.168.10.2
保存
设置openwrt
先设置防火墙，全部改为接受，保存
不关防火墙也行，可能会些网络应用会出问题。
不设置WAN，
设置LAN:
协议：静态地址
IPv4 地址：192.168.10.2
IPv4 子网掩码：255.255.255.0
IPv4 网关：192.168.10.1
使用自定义的 DNS 服务器：192.168.10.1
最下面
DHCP 服务器
忽略此接口：勾选
保存
ipv6不用的可以关掉
Exsi现在还不支持2.5G网卡，可以用openwrt曲线救国支持。
6.黑群晖
群晖有vmtool套件，安装后虚拟机群晖会正常关机，不会直接断电，但会影响休眠。
在虚拟机中群晖，
RDM直通硬盘是不会休眠的，而且看不到硬盘smart信息，感觉不安全。
3617xs
虚拟机
第1个硬盘为引导盘，位置在SATA控制器0，SATA0.0
第2个硬盘为数据盘，位置在SATA控制器1，SATA1.0
剩下的硬盘在直通SATA控制器上，
虚拟硬盘控制器不要用scsi，直通主板的SATA会排在SCSI控制器的前面，
就不好设置ESATA硬盘模式了，ESATA模式下硬盘格式可以为NTFS格式，
ESATA不要超过2个，群晖会无法休眠。
直通需要修改引导文件才好休眠
修改引导盘上的grub.cfg文件，
“SataPortMap=1”
默认表示1个SATA控制器，
我要直通主板SATA控制器，所以要修改这个，不修改也能用，
但是EXSi的虚拟SATA控制器有30个接口，实际直通后实体硬盘的位置会在31号位置，硬盘会无法休眠。
“SataPortMap=134”
1表示SATA控制器0，只有一个sata口，连接的引导盘
3表示SATA控制器1，我只打算接一个虚拟数据盘，预留2个，设置的3，也可以设置成别的数字。
4表示直通的SATA控制器接口个数，小马V5实际有4个SATA口，我设置的4，主板SATA上的硬盘在群晖中会从硬盘5开始。
NAS还是实体机安全点，虚拟机最好经常和实体机同步备份。
现在实体NAS平常不用，需要的时候才开启，NAS定期自动开机和虚拟机同步。。
虚拟机里直通ssd给黑裙，接了块希捷5T笔记本移动硬盘，每天定时备份虚拟盘到USB硬盘。
10分钟后USB硬盘会自动休眠，usb硬盘NTFS格式，虚拟机挂了对usb硬盘数据无影响。
可以把Usb硬盘的目录挂载到群晖的目录:
比如:我把USB硬盘中的迅雷下载文件夹挂载到群晖共享目录video下的电影文件夹
任务计划里设置开机计划，加入如下命令：
格式：
挂载命令 空格 被挂载目录 空格 目的目录
我挂载了电影和照片目录：
sleep 10
mount –bind /volumeUSB1/usbshare/家庭照片/ /volume1/photo/家庭照片/
mount –bind /volumeUSB1/usbshare/手机照片/ /volume1/photo/手机照片/
mount –bind /volumeUSB1/usbshare/1电影/ /volume1/video/1电影/
mount –bind /volumeUSB1/usbshare/迅雷下载/ /volume1/video/新下载/
mount –bind /volumeUSB1/usbshare/小米摄像头录像/ /volume2/监控录像/xiaomi_camera_videos/
USB硬盘速度是够用的，复制速度110MB/秒。
写入1TB的多个电影文件。
群晖三网卡，开启SMB3.0，win10三网卡，虚拟盘到电脑SSD复制单文件速度300MB/秒。
由于是多线程读写，机械盘读取速反而慢了，写入速度没有影响。
给个自己的建议，只是个人用过后的观点：
群晖主硬盘最好用SSD，把套件，照片，手机视频和经常用的文件放上面，反应速度快的很。
重要数据多做几份备份，网盘，移动硬盘之类的。
家用没什么特别需求的不建议组RAID，并不安全，而且还要UPS保证不能意外断电。
服务器上的硬盘都是按时间全部更换的，淘宝上的很多服务器拆机盘就是这么来的。
家里的硬盘不到用坏是不会换的，除了个别体制差的很快就出问题，
同一批硬盘时间长了等到开始有盘坏的时候基本上别的硬盘都差不多了，
而且大容量硬盘重建RAID要的时间真的很长，保不住中途又有硬盘挂了就惨了。
如果使用的人少，ssd读写缓存没什么意义，不如加内存用处大。
918+直通核显后 jellyfin，emby可以支持硬件转码。
ls /dev/dri
输出显示
ls: cannot access /dev/dri: No such file or directory
没有显卡驱动
输出显示
card0 controlD64 renderD128
有显卡驱动
Cpu软解码时
已调用硬件解码
7.windows
可以用手机和电脑远程桌面连接虚拟机设置，
win下面下载东西简单方便。
主板SATA直通给windows是可以休眠的。
win的远程桌面需要设置密码，可以设置windows自动登陆解决，
运行netplwiz设置
Asm1061在b250上直通可以启动虚拟机
还可以挂服务器，比如威动影音，jellyfin之类
8.威联通
O大的黑威联通EXSi版本，需要EXSi 6.5以上
QNAP-TVS-1282 4.2.4
有的机器在部署的时候会报错，修改了文件，
除了引导盘，别的硬盘都删除了，
部署完成后先启动一次，关机，然后编辑虚拟机添加虚拟硬盘安装,系统盘需要在IDE控制器上。
安装完成后设置密码至少要6位。
硬盘只有在IDE控制器和NVMe控制器上才能被黑威联通识别。
一个控制器只能接1块硬盘。
总共5块虚拟硬盘。
注意，启动界面是
Decompressing Linux… Parsing ELF… done.
booting the kernel.
如果不是这个界面就是别的硬盘引导了，进bios改成下sata硬盘引导。
虚拟机编辑→虚拟机选项→引导选项→勾选虚拟机下次引导时强制进入BIOSS设置画面
→开机后进入bios界面调整SATA硬盘优先启动。
导出后再部署需要重新初始化安装，数据还在。或者全新安装，数据丢失。
NAS的功能都差不多，说一下我遇到的小问题，
远程挂载SMB设置逻辑很怪，
比如我要挂载的SMB地址是\\192.168.10.206\1电影
需要这样设置：
挂载成功后：
威联通远程挂载不能用windows管理，只能用网页或者app管理。
也可以挂载到本地文件夹。
威联通硬盘所在目录位置
/share/CACHEDEV1_DATA/
远程挂载的目录在
/mnt/rf/nd/0
挂载的文件夹
/mnt/rf/nd/0/040d1552a91116a4d819085b3bf9f49d8a40e263/
挂载到本地目录
mount –bind /mnt/rf/nd/0/040d1552a91116a4d819085b3bf9f49d8a40e263/ /share/CACHEDEV1_DATA/Public/DSM3617xs/
写个开机挂载脚本挂载，
或者
直接写个挂载SMB的开机脚本也行。
苏公网安备 32021402001397号