此刻兄弟谈心即将告一段落，霍光说道：“既然兄长要去陈夫人那里，我陪着去就是了。”
霍去病则道：“你不必跟着我，在家把我的书房好好整理一下，文牍奏章什么的太乱了，要找什么都找不到。”
霍光无声一笑，他早就发现自己的兄长有这个毛病，就是从来不肯收拾桌子。兄长的书房里虽然摆设很少，猛一看挺敞亮的，可是如果看向那张巨大的书案，却会见到上面堆满了各种各样的东西，在一般人看来，真正是乱得可以。
霍光也想不明白，兄长平常都是怎么从那一大堆里找到自己要用的东西的。而且他还严令家里谁都不许碰他的书案，更不用说替他收拾了，今天能让自己给他收拾书房，算得上是少有的异数了。
对方此时又道：“记着把处理完和没处理的公事分清楚，该归档的归档，该往不同地方送的分开放好。”
霍光点头应着，又道：“兄长，既然那么多事要处理，为什么不养些门客呢？有个自己的班底，也好帮着分担一些事情啊，何必把自己忙成这个样子呢？”
其实，骠骑将军下面自然是有个办事班子的，这在当时叫做幕府，幕府里的工作人员，高级一点的各有官职，比如长史、司马、主簿，低级一点的跑腿打杂的，就泛称为舍人。但霍光说的，并不是这个班子，而是私人养的门客班底。
这中间的区别是：幕府人员的薪俸是来自公家的，他们与幕主是上下级关系而不是依附关系，虽说是幕主选拔任用了他们，但他们效忠的并非是幕主本人；而门客就不一样了，他们是幕主本人豢养，也是效忠于幕主本人的。
以万户侯的收入，养几个门客自然是小事一桩，再说了，骠骑将军那个幕府的办事地点是在外面，霍去病若是想在自己家里处理点公务，确实是没有帮手的，所以霍光的想法也是很自然的。
听弟弟这么说，霍去病淡淡地笑了笑，顺着他的话往下说道：“对啊，除了分担事务，还有别的作用呢，以前苏建将军就跟大将军说过，礼贤下士，还可以得到天下士大夫的敬重称赞。”
“那多好啊，就像战国四公子，孟尝君门客三千。”霍光接口道。
他的兄长大笑起来，“刚刚还说你读书有长进呢，居然就说起四公子来了！看来你这书到底还是没读通！那好，你看看大将军有门客没有？”
“嗯，......好像没有......”霍光仔细想了想，还真是的，大将军除了公家配置的幕府，并没有养什么私人的门客！他不禁有些疑惑的抬眼看向兄长。
“至少到现在还没有。所以你记住，君子以思不出其位。”
霍光知道这是《易经》中的话，但是并不知道兄长为何会用在这里，你们明明身为万户侯，养几个门客怎么就出位了呢？
他的兄长解释道：“因为世道更替了，今日的天子与臣，已经不再是三代之时的君与臣了，而是变成了人主与臣子。招贤纳士，乃是人主的权柄；凡是养士的臣子，必将招来人主的猜忌。”
确实，不管世道更替是好是坏，世道终归是更替了，层层封建的制度已经消亡，秦汉以来建立的是集权中央的制度。尽管名义上还叫君君臣臣，但实质关系早就已经改变了，而本朝的世家权贵们，却还要继续效仿古代贵族那样养士，岂不是有与皇权打擂台的意味？陛下对臣子养士的痛恨态度，卫霍两人身为天子近臣，当然比别人更容易搞清楚了。
此外还有一个原因，所谓养士，本意当然是求贤，可是实际的情况永远是贤人难求，而小人易进，“与贤人谋”不知不觉地就会演变成了“与小人谋”。你自己不是周公，凭什么指望招来的能是贤才？出了事的诸侯王刘武、刘濞、刘安等人，可以说都是被身边的小人耽误了，再到窦婴田蚡，包括上一任丞相公孙弘，他们养了那么多宾客，但是冷眼旁观，那些人又何曾给他们出过像样的主意呢？——这是霍去病自己的观察体会，还未能到毫无疑问的程度，所以此刻并没有对弟弟完全说出来。
不管怎么说，高官显贵招纳有才能的人作为门客，毕竟是自古以来的传统做法，一直到卫青和霍去病这里，才风气为之一变。霍光并不会知道，大将军和自己兄长的这种做法，被后人溢美为“卫霍改节”，但他应该是受到了影响，他后来尽管位极人臣，但终其一生循规蹈矩、谨慎本分，尽管历辅三朝，行事一直是很有分寸的。
霍去病这一走，又是好几天没有回府，霍光一直都是一轮休就赶紧回来，要见兄长一面确实很不容易。不过每次兄长只要见到他，都要跟他长谈一番，天南海北，古今上下，当然，他也感觉到自己的见识，这段时间里是突飞猛进的提高了。
兄长的面没有见到几次，尴尬的事情却撞上了一件。这天他正在前院的书房看书，忽然听得后边一片吵闹起来，接着就看到霍府的管家一阵子跑进跑出。霍光忍不住拉住这个管家，一问才知道，原来是兄长的一个名叫杏云的侍姬，竟然与前院一个管车马的家丁有了私情！
霍光一时呆住，不知该说些什么，管家知他年幼脸嫩，也不能与他细讲，只是说道：“已经派人去告知主人了，自然会有发落。”
霍光无语转身，仍然回至书房，可是再没心思继续看书了。他心里真是想不明白，那个人难不成是吃了熊心豹子胆吗？骠