据说，清朝时期的胡雪岩，还仗着自己有财、有势，他在大街上见到有姿色的女子，也不管她愿意不愿意，直接娶进门再说。当然了，被他这种强买强卖的民女，只要过了三五天或一两个月，胡雪岩就会给女方几百两银子，并配上一纸休书，任其改嫁。最后，被胡雪岩这种“喜新厌旧”，而抛弃者，估计有数百人。当然这些都是《见闻琐录》、《庄谐选录》这样的野史，才记载了胡雪岩这种行为。
事实上，这样的行为很可能是文人添油加醋的夸张手法而已。事实上，如果胡雪岩真的这么干！那位顶头上司左宗棠，还不直接暴跳如雷，活活扒了他的皮！所以最终的结论是，胡雪岩强抢民女、逼良为娼的行为应该不会有。但是他酷爱女色的行为，却是显而易见的。这种行为，主要体现在他大量的娶妻上。按照杭州城内的民间传说，胡雪岩一共娶了十三房姨太太，号称“杭州十三钗”。
确实，“三妻四妾”这种事基本是古代每一个男人的梦想，这也是无可厚非的。但我们现代人不能总是羡慕古代时候的三妻四妾，更不能去羡慕所谓的三宫六院、七十二嫔妃。胡雪岩有个豪华居所被称为“鸳鸯厅”。原为胡家子女居住；楼下为胡家宴请宾客的地方：从门洞进去，就到了和乐堂，它是住宅区中的主体建筑。据记载，胡雪岩有13位姨太太，为了方便与各位太太会面，并避免她们之间的争风吃醋，他想了一个好办法。
就是安装了当时西方最先进的通话设备：一座大德律风，用13根电线通向各房，只要认定门子，就可以召唤各位太太，声音洪亮 清楚明白，省去了不少无聊的口舌。据说，在和乐堂，现在还可以见到当时的铜管和铜线呢？胡雪岩的母亲，居然处处替胡雪岩考虑，还把胡雪岩在外面娶的姨太太，也要统统接回家里，结果弄得天天斗嘴吵架，吵得胡雪岩根本没有办法回家过一天清静日子。
实话实说，他还跟一般人不太一样，不是因为风流成性，才娶这么多姨太太的。胡雪岩所有的姨太太，似乎都跟他的事业有关系，据说有的是为了贷款方便，有的是为了某种生意的需要，比如胡雪岩在做蚕丝生意。多些女眷自然是非常方便做生意呀！青年胡雪岩还是一个“拾金不昧”，具有“奇货可居”式乐于助人的聪明人胡雪岩是晚清一位著名的商人，大家都称他为“商圣”。
其实，胡雪岩也是贫苦出身，他的父亲在他12岁时就去世了，母亲一个人抚养着他们兄妹四人，日子过得也是非常艰难。胡雪岩从小就非常懂事，经常帮别人家放牛挣钱补贴家用，减轻母亲的负担。13岁那年的一天，胡雪岩又跟平时一样去野外放牛，他把牛赶到草地上吃草，自己坐在旁边的凉亭里休息。后来，他走进凉亭刚坐下，却看到桌上放着一个很大的蓝布包袱。
胡雪岩打开一看，里面包的竟然是金银财宝，顿时吓了一跳。胡雪岩觉得应该归还给失主，于是就等了个几小时，他心里也暗暗着急。这时远处有人走来，边走边四处张望。胡雪岩想，可能就是失主。果然，那人衣衫华丽、雍容富贵，身后跟着个小厮，见胡雪岩在放牛，就问：“请问放牛娃娃，见没见着个布包袱？”边说边比画包袱的大小。
胡雪岩站起身问：“先生，包袱什么颜色、装的什么？”先生说：“蓝色碎花布包袱，包的银子。”胡雪岩问：“多少银子？”先生回答都对上了！“我应该还给你”，失主听后，感动地说：我姓蒋，开了一家杂粮店。你这孩子真不错，在这里放牛有点儿屈才了，如果你愿意，就跟我走吧，我收你当徒弟！就这样，胡雪岩在征得母亲的同意后去了蒋家杂粮店。
到了杂粮店，胡雪岩特别能干，不仅勤快。只要老板交代了事情，他都会一丝不苟地完成。后来，一位来自金华的做火腿的商人看中了胡雪岩，又把他带到了金华。后来，胡雪岩有幸成为杭州一家钱庄的伙计。有一天，钱庄里来了一个名叫王有龄的书生。一番交谈后，胡雪岩发现王有龄很有才华抱负，而且已经捐了浙江盐运使的官职，只是缺少进京的盘缠。
胡雪岩慧眼识珠，居然认定其前途不凡，于是把钱庄的500两银子借给了他，叫他赶快进京上任。钱庄老板知道胡雪岩私自借钱给他人后，气得火冒三丈，就把胡雪岩赶出了钱庄。被炒鱿鱼后的胡雪岩，只能在杭州的街头流浪。后来王有龄发迹，担任浙江巡抚，成为此后胡发迹的支持和靠山。在王有龄的大力支持下，1860年，胡雪岩开设了钱庄。
