上世纪20年代初，重庆为四川省省会，刘湘任省长，杨森任重庆商埠督办。1947年至重庆解放，杨森任重庆市长。今市少年宫地址便是解放前的杨森公馆。
关于杨森的老龙门阵不少，比如打狗，据说是他又名杨子惠，怕狗吃羊子，发动打狗运动。杨森对重庆市政建设做过不少好事，相传他曾仿效三国李严，有过开凿鹅岭连通两江的规划。不过呢，最为流传的，是杨森的风流韵事，杨森妻妾成群，儿女众多，寻花问柳不算，单是公开的妻妾就有12位，被称为“十二钗”;子女共有43人。
杨森
每个老婆都有故事。其中情节最曲折的，是他制裁“叛逆”姨太的残忍手段。杨森纳妾皆为色欲所需，个个都是绝色美女。然而，美丽对于女人而言，无异于抱璧藏祸。杨森的第七妾曾桂枝与第八妾蔡文娜，皆因惊艳美色，抵挡不住寻芳客的纠缠，情难自禁，导致红杏出墙，最后惨死在心狠手辣的杨森手里。
在七姨太曾桂枝20岁时，杨森将她送到上海读大学。这一下，曾桂枝像飞鸟投林一样，开心不已，不久和一位陈姓同学相恋了。从未体验过爱情的曾桂枝如沐春风，她和恋人成双成对，出入舞厅，卿卿我我。岂料这些情况被杨森安插在上海的耳目侦知。于是，怒火中烧的杨森，找借口将曾桂枝催回了四川渠县防区。临别时，陈姓同学将一枚家传的戒指戴在了曾桂枝手上，还拜托她在杨森手下谋份差事。
就这样，这位七姨太欢天喜地地回到渠县，并带回了恋人的照片，央求杨森替这位陈姓同学安排工作。杨森不露声色地说：“这等小事有啥难的。给你同学写信，我让他来当渠县的教育局长。”曾桂枝一听，喜形于色，当即便飞鸿传书，叫恋人来到渠县。哪知姓陈的一跨入渠县境内，便被杨森的宪兵队设伏，用冷枪打死，暴尸荒野。此时，曾桂枝还心花怒放地带上两名警卫去河边迎接。当她哼着小调跨上船时，身后便响起了警卫如同冰窟里飘出的声音：“对不起，太太，军长有令，送你上路。”随即扣动了扳机……杀死二人后，杨森仍觉得不解恨。他又派兵将二人缚上巨石，沉入渠江。
杨森残杀姨太的事，除七姨太外，八姨太蔡文娜的命运如出一辙，先也是送她上大学(华西大学)，也是红杏出墙恋上小白脸，结局是被乱枪打死在重庆杨森的官邸，然后，为了杀一儆百，杨森集合起妻妾一同来到现场，命她们仔细观看，妻妾们个个吓得面色苍白，颤抖不已。次日黎明，蔡文娜满身血污的尸体被床单包裹住，丢到杨森在重庆的官邸——“渝舍”网球场边的枯井，草草填平了事。
1949年11月30日重庆解放。杨森逃到成都。不久由成都飞台湾。此后受到蒋介石器重，委任为台湾“总统府上将国策顾问”，并长时期分管体育运动。杨森长寿，体健，70岁时学会驾驶教练飞机而轰动台湾。86岁登上海拔4000米高的玉山。90岁大寿时，就在生日会上，杨森对四川同乡、国民党元老张群叹道：“我这个人就是喜欢和年轻人在一起，这样才有朝气。”张群知他的心思是又想“一树梨花压海棠”，便笑道：“那你再讨(娶)一个嘛!”就这样，17岁的初中生张灵凤被杨森以招募“秘书”为名，娶进府中，成了杨府第“十二钗”。不到一年，张灵凤居然为杨森生下最后一女，排行第43，一时海内外传为奇谈。1977年96岁的杨森寿终。
