但是，有一件事导致了荀彧在人生价值的追求上出现了偏差，而且因为性格上的特点，最终与曹操分道扬镳。荀彧出身颍川荀氏，荀子之后。其祖父荀淑知名当世，号为神君。荀淑有八子，号称八龙。荀彧的父亲荀绲曾任济南相，叔父荀爽曾任司空。这样的家庭背景，在汉末门阀制度横行的年代，应该是很吃得开的。但是，荀彧其父荀绲却因为忌惮宦官，就让荀彧娶了中常侍唐衡的女儿为妻。
尽管当时宦官专权，权势熏天，荀氏得到了很大的政治利益，但依然为世族朝臣所不齿。这个情况跟曹操很相像，曹操的祖父是宦官曹腾，尽管其父曹嵩、曹腾的养子，贵为太尉，但依然被看做是寒族出身，不为上流社会所认可。虽然荀彧年少有名，得以免于时人讥讽。但依然感觉很不爽，有一种低人一等的窘况。而且，荀彧这个人就像鸟儿一样，特别爱惜自己的羽毛，对于名声看得特重。
这从一件事上，就可以看得出来。据史料记载，荀彧为人伟美有仪容，好熏香，久而久之身带香气。《襄阳记》记载："荀令君至人家，坐处三日香"。荀彧到人家去做客，他坐过的地方，三天内还有香气。这就是“令公香”、“令君香”、“荀令香”等典故的由来。《旧唐书》记载，“大历十才子”之一的李端，曾献诗："薰香荀令偏怜小，傅粉何郎不解愁"。
唐王维《春日直门下省早朝》有诗句："骑省直明光，鸡鸣谒建章。遥闻侍中佩，暗识令君香"李颀诗作《寄綦母三》也有："顾眄一过丞相府，风流三接令公香"李百药《安德山池宴集》则有："云飞凤台管，风动令君香“。有这些风流雅士的追捧，后世就把”留香荀令“与”掷果潘郎“一起，成为美男子的代名词。由此可以设想一下，荀彧对于自己的名声会如何珍惜，那是容不得点点亵渎的。
汉家朝廷已经名存实亡，匡扶汉室已经不再可能。对此，荀彧是有清醒认识的。无论从理性还是从现实考虑，荀彧辅佐曹操是最明智的选择。既可以展示自己非凡的才能，也尽可能延缓汉室衰亡的过程。但是，曹操意欲进位魏公，进而会成为魏王，最终走向称帝的道路。荀彧本来娶了宦官的女儿，就有阿附权贵的嫌疑。如果再协助曹操废掉献帝刘协，登基为帝，那就成了助纣为虐，自己的名声就彻底毁掉了。
不管荀彧是为了匡扶汉室，还是为了自己的名声，但他最终还是与曹操分道扬镳了。这在豹眼看来，荀彧的作为令人尊敬，但着实很不可取。朝代的世袭罔替是不可改变的历史规律，汉室已经灭亡是不可改变的历史趋势。没有必要为这个腐朽的朝廷殉节；同时，不该过于看重名声，一个政治家最重要的是看其对于历史的贡献。顺应历史的潮流，并为之付出，或许更为明智和受后世追捧。
