随着事业的不断膨胀，这座珠宝帝国的主人却发现自己逐渐被边缘化。一名特赦证人在法庭上称，谢瑞麟任公司主席时，在董事会中特别醒目。因为公司里只有他会打金做手饰，也只有他不会说英文、不会用电脑、不懂会计学常识。

　　公司的珠宝显然也不再需要这位老金匠亲自锻造与设计，行政事务与经营管理也越来越依赖拥有海归背景的下属代劳。只是每天，谢瑞麟仍会按时到公司坐班，到了周末，他还会到各个分店巡视一番。

　　谢瑞麟以个人之力，再次大显身手时，战场已转向风险与暴利并存的房地产投资。1990年，他夺得香港裕兴地产公司的控制权，成为集团投资地产的旗舰。此外，他还买入大量物业，使集团负债比率高达140％，每月单是支付利息就得花7000万港元。

　　为减轻负债，谢将裕兴股权连同湾仔地皮以2亿港元的价格卖给了英皇集团主席杨受成。可随后不久，港英政府与大陆的谈判渐趋明朗，楼价一路飙升，杨在买入的地皮上建起英皇集团中心，时值20亿港元。

　　1996年，谢瑞麟再次斥巨资在全港扫荡物业，更一口气花5亿港元买下位于尖沙咀的保利商业大厦，在楼市鼎盛期，他一度坐拥20亿港元身家。1997年，亚洲金融风暴袭港，楼市骤然崩盘，谢被迫贱卖保利，其时售价已低至一亿六千多万港元，公司受累“脱水”，濒临破产。

　　据香港媒体报道，这位曾自称“赚钱是生命中的一切”的珠宝商，回顾自己两次失败的投资时，认为那只是“时不我予”。

　　新旧理念之争

　　为谢瑞麟写求情信的还包括他的另外三个儿女，唯独与他同坐于犯人栏里的儿子谢达峰没有为父亲陈情。此前，父子二人不和就已是公开的秘密。就连谢的好友康宝驹，也承认“两人关系微妙”。

　　一位香港记者透露，该案自2006年8月开审以来，谢氏父子绝少在犯人栏外碰头，每次两人都是一前一后走出法庭，媒体至今只拍到一张二人的合影。法庭外，谢瑞麟常与律师到附近著名的鸿星海鲜酒家用餐，而儿子谢达峰则背着个书包，和太太邱安仪到麦当劳排队买外卖。

　　1994年，26岁的谢达峰从美国波士顿大学毕业返港，跟父亲学习打点家族生意。康宝驹曾告诉媒体，刚开始，谢达峰完全听从父亲的指令，对所有人都很有礼貌，又肯学上进，很受父亲喜欢。

　　可不久后，谢瑞麟发现“乖乖仔”也开始“反骨”(唱反调)起来。这位打了几十年金的老工匠始终觉得，只要首饰款式好，成色好，不愁卖不出去。可先后获得工商管理、数学学士学位及文学硕士学位的儿子谢达峰，在董事会上经常拿谢瑞麟与Tiffany、Cartier等世界顶级品牌比较，还多次强调，“谢瑞麟做大，眼光要放大”。

　　这位进取心强的年轻“海归”，推崇高端路线，他将谢瑞麟换成一个父亲念不出来的英文名——TSESUILUEN(TSL)，还改用性感的外籍模特做形象代言。公司一位老员工回忆，“公司面口唔同口左(完全不一样了)”。

　　在公司经营模式上，谢瑞麟和儿子也有分歧。这位珠宝王国的第一代国王进军内地市场时，主张授权特许经营，在短时间内占据市场，迅速回笼资金。而谢达峰坚决反对，他认为特许经营店难以监督，一旦出事，公司的品牌和长远利益得不偿失。2008年，成都一家谢瑞麟专柜就因为用普通杆秤当珠宝计重器，被成都市质监局查处。

　　此外，谢瑞麟的私生活亦让儿子不满。谢瑞麟有两位太太、四个儿女，选美出身的二太太张美琳与女儿谢颖婷长年定居法国。他虽与大太太谭坤仪一起生活，但每次出席活动，这位喜欢穿鲜黄衬衣、打鲜黄领带的老人，身边伴着的都是不同的年轻女士。入狱前，谢达峰与太太邱安仪及三个儿女一直单独居住。一位香港记者说，虽然谢家从未承认父子间有隔阂，但“明眼人都清楚”。