1980年4月间，罗杰斯突然从公司开出的工资单上发现了一笔“顾问”费，他问索罗斯此笔费用的出处:“乔治，你知道这是怎么回事吗?我们为什么会有这笔‘顾问’费?公司并没有请过顾问啊?”索罗斯对此的解释是，一家被收购的石油公司的人愿意为他提供更多的购并信息，因此需要向对方支付一笔不菲的“顾问费”。
罗杰斯突然想起此前确实有人曾建议他们买入这家公司的股票，而他们当时确实是在市场上买入了这家石油公司的股票，难道这里面会有什么不同寻常的隐情吗?答案很快浮出水面，就在他要离开“量子基金”时，正好逮住了这哥们，原来“量子基金”当时从市场上买入的那家石油公司股票正是从这哥们手中脱手的。事情真相大白，“索罗斯对违背公司操作规程的事情视而不见，置之不理，只是因为此人为公司提供了石油公司的信息。”多年之后，罗杰斯首开金口，告诉笔者当年的隐情。所有这一切让他极为反感的不端交易行为终于促使他下定决定离开“量子基金”，他不能再待下去了，他要开始一种新的人生。
在罗杰斯思量着准备离开“量子基金”的1980年5月，更令他心惊胆战的事情发生了。他听说了索罗斯在伦敦花大价钱找了一家公司，利用虚假账户帮他申购英国公债的事情。这是英国政府发行的公债，因此对每一个申购账户都有极为严苛的限制。他不知道索罗斯为何要这样做，这些事情在他看来根本就没必要去冒这个风险。“突然之间，他已经开始做这些我们从未做过或者根本没必要做的事情，那时我知道我不能再待下去了。”他告诉笔者。
他不能再等了，最后摊牌的时刻终于来临。那天晚上，他与索罗斯之间发生了一场激烈的争执。“乔治，我跟你说过只多待一年，现在我不想再待下去了，我想换一种生活方式。你看什么时候能清算一下我在公司的股份?”他向索罗斯辞行。
“吉姆，怎么回事?我们不是合作得很愉快吗?为什么突然要走呢?”对于罗杰斯的突然言走，一开始索罗斯有些惊讶，看着罗杰斯的眼神，他好像猜到了点什么。
“乔治，我说过我不想卷入那些事情里。我想休息一下，重新考虑下一步的人生该怎么走。”罗杰斯告诉这位曾经的搭档。
“吉姆，你怎么能说走就走呢?你走了，我们的投资组合怎么办?大部分组合都是你的主意，没有你在，我不知道该怎么操作这些组合。不，你不能就这么走了！你不能这样中途撂摊子!”索罗斯极力挽留，言语中忍不住有些恼怒。
“乔治，不管你怎么说。我真的不想再待下去了。我已经决定了，要开始另一种生活!我还有很多梦想没有实现，我不希望自己的人生一成不变。”罗杰斯固执地说。
“吉姆，你不能走!你走了，难道要我一个人面对这个局面吗?我应付不过来!你不能就这么走了，没有我的允许你不能走!如果你真这么走了，你休想从我手里拿到一分钱!”眼看着罗杰斯去意已决，这位有着浓郁救世情怀的“上帝”大为光火——还从来没有一个人敢如此执拗地置他的建议于不顾，完全不理会他命令式的说服与劝阻。
但“救世主”的恼羞成怒已无法阻止罗杰斯匆匆离去的脚步了。第二天，他没有再去哥伦布转盘广场10层的办公室上班，从这一天开始，他永远离开了“量子基金”。几天之后，当他打电话给索罗斯准备去办公室清理自己的东西时，却被对方告知，索罗斯已没收了他所有的文件，“你别想再到‘量子基金’的办公室来，这门可不是想进就进想出就出的。”
更令人意想不到的是，索罗斯强硬地拒绝兑现他辛苦多年的合伙人股份以及“量子基金”多年的利润提成!昔日无话不谈的合作伙伴瞬间成为势不两立的“仇人”，这样的惊天逆转唯有经历过的人才会有深刻的体会。
还没等他质问对方，索罗斯就冷冷地挂断了电话。愤怒立刻席卷他的全身，他的那些辛苦多年积攒的文件和资料顷刻间就被索罗斯给没收了?!他要这些文件干什么?他有什么权力搜自查封他的文件?这简直是土匪抢劫!人怎么可以突然变得这么无耻?!过了很久，他才努力让自己平静下来。他知道此时与索罗斯继续理论下去根木于事无补，要想保护自己的权益不受伤害，他唯有给自己找一位律师。这一点很符合属马人的个性，属马之人不贪财、不自私，也很少嫉妒别人，当属马人遭遇逆境时，只会发怒而不会背地里搞阴谋诡计。
在了解了事情经过之后。他的律师告诉他，索罗斯完全应该支付他在“索罗斯基金管理有限公司”的股份和他多年的利润提成，律师很快与索罗斯接洽上，他正告索罗斯:“如果您拒绝支付我的委托人罗杰斯先生在贵公司的股份和他多年的利润提成，我们将起诉你!”
索罗斯很清楚一旦他与罗杰斯对蒲公堂，所有他们之间的争执及其背后原因都将再次在阳光下接受检验，他显然不想把事情闹大了。1980年5月底，在律师的力争下，罗杰斯终于拿回了属于自己的“量子基金”的所有股份。5月的最后一天，他清空了所有“量子基金”的股份。这一天，戴着淡灰色玻璃框宽边眼镜，穿着条纹衬衫的罗杰斯，在黑色休闲西服的映衬下，露出孩童般的笑容，在支票上背书他已经收到了清空“量子基金”所有股份的钱。
6月初，他将这些钱存入银行户头。就在他存钱时，他特意拍了一张照片。此时的他，圆圆的下巴颊与粗粗的脖子连在一起，脖子与下巴之间大约三四层的“救生圈”让人联想到企鹅的憨态，他不再一边倒的短发意气风发地向上翘起，仿佛在憧憬着即将来临的自由新生活。他在这张照片背面写道:“卖空‘量子基金’股份后存入支票，1980年6月。”这让人不由得想起对于他而言，6月初的这一天是个值得纪念的口子!是的，如果说此前他不再去办公室上班只是在形式上告别了“量子基金”，那么从这一天起，从他悉数卖掉“量子基金”管理公司的股份，拿到自己应得的大把美金那一刻起，他已经在精神上和资产上彻底与“量子基金，做了一个了断，那些曾经有过的光辉岁月已经成为历史，他的人生从此翻开了另一段多彩的新篇章。
罗杰斯从不与人谈论他究竟在“量子基金”挣了多少钱。罗杰斯告诉笔者，他的外婆从小就教育他不要在人前露富，也不要与人谈论自己赚了多少钱，更不要跟人说自己花了多少钱。他一直恪尊家规，鲜在人前“秀”富，对于在“量子基金”的收入，他从未发表过任何意见，不过据当时的金融媒体估算，罗杰斯离开“量子基金”时，他在公司20%的股份及所有利润分成为1400万美元，而在索罗斯基金管理公司占八成股份的索罗斯当时的利润提成总额为5600万美元。
随后的日子里，他的律师不断与索罗斯交涉，一直都在为争取拿回他的那些被“没收”的文件资料而努力，直到两年后，他才接到索罗斯的电话，这位曾经的搭档“通知”他，当年，他的那些被没收的文件披“安放”在纽约西南部布鲁克林地区的一个仓库里，现在，他可以拿走“它们”了。过去的两年内，罗杰斯和他的律师知道，索罗斯一定是将这些文件藏在了某处，但却一直找不到线索。现在，这些文件终于重见天日，物归原主了，他兴奋地立刻就赶往布鲁克林地区的仓库，搬回了这些曾在过去岁月里陪伴他的珍贵文件与资料。
29年后，当罗杰斯首次向笔者披露当年这段不为人知的过往时，笔者问他，“当时有人知道你们之间的这些事吗?”
“我不太清楚，我正追逐自己的新生活，我要做的事儿有很多，远比谈论他要强得多!’罗杰斯表示。
“索罗斯后来曾跟媒体提及，有一次他因为写书给你打电话要查找一些资料，结果被你断然拒绝。他说类似的事情还发生过，是这样吗?”
“我不知道。这都是很久以前的事情了，我根本就没有这方面的线索。对我而言这些井不该要，如果他要这么讲，他肯定会这样做的。自1980年后我从未读过任何有关他的东西，对他也不了解，当时我所知道的是要找一位律师拿回属于我的东西和我的钱！”
