家用万兆网络指南 3 – 超静音MikroTik解决方案

本期看点:

如何挑选 10G 网卡
MikroTik 的超魔性热管万兆交换机
交换机如何魔改风扇
兼容性问题和故障如何排除

注意:

因经验和知识有限, 难免文章中会出现错误, 请不吝赐教.

好的, 本次是正经教大家如何组建家用万兆局域网的第 2 篇, 我们在上一篇中, 已经给大家介绍了如何挑选光纤和光模块, 本期我们将介绍如何挑选万兆网卡和万兆交换机. 本篇会给大家介绍最稳妥最少折腾的方案. 当然有得必有失, 因此价格会贵一些. 让我们走起.

万兆网卡

最方便的当然是 82599

首先是网卡, 由于万兆网卡驱动也可能会出现幺蛾子, 所以本篇我给大家介绍最容易使用的网卡 Intel 82599ES (这个是 Controller 名称, 不过搜这个也能搜到就是了).

这个网卡最大的好处是, 大部分操作系统自带驱动, 插上去就能用. 当然手动再装下最新的驱动也没问题.

卡的正面是这样的 (我拆掉了散热器):

我的这个是一个双口卡, 会贵一些, 如果没特殊需求买单口的就可以.

网卡的背面是这样的:

Intel 82599ES 单口卡的二手价格应该不超过 200 块.

其他品牌网卡该如何挑选?

除了Intel, 市场上也有许多其他品牌的万兆网卡, 例如 chelsio, Solarflare, Mellanox 等 (DELL, HP, Huawei, Lenovo 一般都是 OEM 货, 也能用).

那么如何去挑选其他品牌的网卡呢?

首先, 这些可能都是需要安装驱动的, 在购买前一定要去其官网查清文档, 看看有没有支持你系统的驱动, 有的网卡就没 FreeBSD 的驱动, 导致 FreeNAS 没法用. 甚至你可以先把驱动下载下来看看能不能顺利安装, 然后再买网卡.

其次要看网卡是什么接口的, 建议买 SFP+ 的, 因为 10G 现在基本都是 SFP+. 不要买XFP的, 如何辨识呢? XFP 接口比 SFP+ 宽, 或者干脆问店家就好.

最后为了保险, 跟店家说好, 如果不兼容可以退货. 后续我将继续评测不同种类的万兆网卡 (也会有模块兼容性, 驱动安装等全套教程), 感兴趣的同学可以持续关注这个专栏.

好了, 接下来是交换机.

万兆交换机

万兆交换机的选择也很多, 不过鉴于有的同学没有捡垃圾的经验, 我们会先给大家介绍消费级的万兆光交换机, 然后在后续文章中再给大家讲如何去捡垃圾, 去寻找更廉价的数据中心淘汰的万兆交换机.

因此, 本篇文章给大家推荐一个正常的产品. MikroTik CRS 317-1G-16S+.

如图, 白色的交换机, 表面非常容易弄脏【手动滑稽】. 正面可以看到 16 个 SFP+ 端口和一个 console 口, 一个千兆口.

它的背面则是有两个插 C13 电源插头的接口 (就是最常见的那种电饭锅都在用的那种你懂的), 两个风扇出风口, 以及一个巨大的钢制散热片(MikroTik牌电暖气无误).

双冗余电源, 插一个就可以运行. 电源输入范围也很宽, 110V-250V.

打开机盖, 我们可以看到里面的结构:

首先是巨大的热管通向散热片. 然后右侧的隔离罩下面是两个电源. 风扇已经被我改成了猫扇.

我们移除散热器, 可以看到交换机的核心是一颗 Marvell 98DX8216

这颗 SoC 集成度非常高, 是一个双核 32bit 800 MHz ARMv7 作为通用核心的 SoC. 不必担心 ARMv7 的性能问题, 交换功能全部在 SoC 内部硬件实现了, 如下图.

这颗核心的单片采购价格是 278 USD, 50 片以上也要 220 USD 左右.

交换机的详细参数可以看 MikroTik 官网的介绍

我们最关心的交换性能如下:

MkiroTik的一些产品是可以同时运行 SwitchOS (当交换机用) 和 RouteOS (当路由器用). 这个也不例外. 因此上面的测试报告中同时给出了交换和路由的测试数据.

可以看到, 64byte 小包交换能力可以达到 239,583.3 kpps, 即每秒 2.39 亿数据包, 这个是所有端口一起跑的数据. 在我自己的实际测试中, 双端口收发 UDP 小包也可以达到 1Mpps, 完全打满 10G.

我们用 1518byte 下的总带宽测试结果 158,906.4Mbps 除以它的端口数 16, 得到每端口最大带宽为 9931.65 Mbps 约 9.7Gbps. 基本可以所有端口都跑满 10G. 个人用来说, 应该足够了. 企业用还是建议买企业级的设备.

路由上, 就不是这个机器的强项了, 64byte 小包只有 315.4kpps 了, 还不如强一点的家用路由器. 不过这本身就是个交换机, 当路由器用就是本末倒置了.

这款交换机在平时风扇是完全不转的, 因此是 0 噪音. 只有当达到一定温度了, 两个风扇才会运转进行散热.

为什么推荐这款交换机呢? 因为它的售价适中 (2340 CNY, 嫌贵还可以看看二手市场), 全新交换机是有保修的. 如果买二手, 只能神奇的店铺保修了. 更重要的是它本身设计很静音, 不像企业级万兆交换机, 开机直接家里变成拜科努尔航天发射场. 如果觉得还是不够静音, 想要放到桌面上用, 那么我们来看看如何魔改风扇——

风扇魔改

首先, 这是机器上的原装风扇, chiefly CC4020B12M, DC 12V 0.16A. 官方文档在这里 chiefly dc brushless fan

虽然官网文档上说这个风扇的噪音水平在 28.5dBA, 但这个风扇在 MikroTik 交换机进行电压调速散热的时候, 还是有点吵的. 如果我们把这个风扇 PWM 线移除, 然后接到一个同样 12v 的交换机上打开的话, 会得到这种水平的噪音.

63.6 dBA. 恭喜, 距离可以发射土星五号又近了一步. 当然, 在 MikroTik 交换机上没有这么吵.

那么, 我们如何解决呢? 其实解决方案有很多. 比如我们有能力魔改固件可以修改固件的散热策略, 也可以给风扇加装减速线(但据说貌似没效果). 最后就是干脆换一个静音的风扇了. 我直接换了个猫扇, 但实际上没必要买这么贵的. 直接买静音一点的风扇就行了.

如何判断风扇是否比这个静音呢? 有个小窍门, 我们看到这个风扇是 0.16A 的, 我们买额定电流比这个小的就可以了.

换完了猫扇之后, 噪音水平如下 (距离20cm), 不贴近同样距离仔细听是听不到的:

如果距离 1 米左右的距离, 噪音水平如下, 基本就是背景噪音了, 完全听不到:

不要以为图片中那么多机器会导致场景背景噪音会很大, 实际上你白天钻到被窝里测量, 背景噪音也有35dBA左右.

那么, 具体如何魔改风扇呢? 其实很简单, 首先我们要看原装风扇的电压, 选同样电压的风扇.

然后, 我们看原装风扇的线序, 一般直流风扇会有 3 线或 4 线的. 一般来讲, 红色代表 positive (+), 黑色代表 negative (GND), 剩下一根线或者两根线可能是转速信号线或者 PWM 线.

不过, 建议最好还是去查风扇的文档, 弄清楚线序定义究竟是什么. 千万不要先入为主认为红色一定就是 +, 黑色一定就是 GND. 以免把风扇烧掉 (猫扇一个一百块, 直接百元大钞原地冒烟).

确定好线序后, 看买来的新风扇的线序是否跟现有风扇的线序一致, 如果不一致, 就把风扇插头的线拔出来, 拔的方法很简单, 用螺丝刀插进前面的孔, 往下压, 同时用手拔线就可以把线从插头中拔出来了. 如果拔不动不要强拉硬拽, 会把线弄断. 仔细观察插头的结构, 然后找办法把线取出来.

拔出来后, 调整线序, 然后插回去, 再把插头插到交换机上即可.

接下来, 就要通电测试, 看看新换的风扇能不能正常工作了. 这里有个小技巧. 插上交换机的电源, 然后瞬间拔下来, 通过瞬间通电, 来确认风扇转不转, 来防止弄错了线序把风扇烧掉. 不过有条件最好还是用万用表测试, 瞬间通电并不能完全避免接错后风扇烧掉.

以上就是风扇魔改的大致思路了.

组装和兼容性问题

组装

最后, 我们把买到的网卡插进机箱, 光纤插入模块. 然后插到网卡中:

然后光纤另一端插入到另一个模块中, 最后插入交换机:

拔下来的顺序则正相反, 先按下光纤的把手, 把光纤拔下来, 然后拉下光模块的把手到 90 度, 向后拉把手. 如果光模块卡到了设备里面, 切记不要用力拔. 找个一字螺丝刀, 观察光模块底部与网卡卡住的部分. 轻轻翘起弹片, 就可以把模块拉出来了. 一些二手卡或者二手模块可能不是很灵光, 因此卡住很正常, 慢慢操作就好了.

观察交换机和网卡的灯亮起, 就代表可以正常工作了. 由于是以太网网卡, 因此使用过程跟之前机器上的网卡没有什么区别. 直接配置IP使用或者靠DHCP自动获取IP即可.

主机电脑上如果有多个网卡, 需要把原有的网卡或网线拔掉或干脆禁用网卡. 想两个网卡同时工作在不通子网中, 要配置路由等信息. 不要想着原来的千兆网卡和现有的万兆网卡聚合形成 11G 的网啥的, 没啥意义.

故障排除

当然, 插上去很有可能不亮, 这时候我们就要看看具体是哪里的问题了.

首先, 我们先排除光纤和模块的问题. 把光纤和模块直接插到交换机的两个口上面形成环路:

如果灯亮, 证明光纤没问题, 交换机也兼容当前的模块.

如果灯不亮, 首先查看光纤是不是插反了, 光模块两端都是一收一发, 所以光纤应该是交叉的. 如果是跳线, 不排除工厂把线组装反了. 如果是室外多股光纤, 它的 LC 接头可能都是独立的, 你需要找到并配对使用, 例如交换机端的模块 LC 接口接光纤 A, B 那么另一端网卡的光模块接口就要反过来接光纤 B, A. 如果确认接线没问题, 那么替换模块或光纤, 用排除法来确定到底是模块的问题还是光纤的问题.

如果上面验证了交换机, 光纤, 模块都没问题, 那很大可能问题就是出在网卡上了, 要么网卡真的坏了, 要么网卡挑模块. 用排除法继续排除即可.

兼容性问题

下面来说兼容性的问题, 一般来讲, 网卡和交换机都有可能挑模块. 所以理想上使用在官方兼容列表的模块会最好. 但实际上官方模块可能都很贵. 我们只能买其他的便宜的模块代替. 通常上来讲 finisar (菲尼萨) 模块作为代工大厂, 兼容性相当好. 但也偶尔会有不兼容的情况. 因此不要迷信 finisar 模块插到什么设备上都能用.

我的建议是, 反正买的也是二手拆机模块, 买的时候就跟店家商量好, 不兼容退货就行了. 这样即使不兼容, 也只会损失邮费而已. 我后续会整理模块兼容性列表供大家参考. 但由于受资金和精力的限制, 完全不可能把市面上所有的交换机和网卡对模块的兼容性尝试一个遍. 因此建议大家还是自己尝试.