巴菲特收购濒破产、价格低廉的“烟蒂”公司伯克希尔是他开始走向成功的起点，也是他第一次失败的经历。《华尔街日报》曾这样评价，“这是少数几个让巴菲特赔钱的商业之一”。他后来也承认了自己收购伯克希尔纺织厂是个错误：“我知道这是一桩很难做的生意……当时的我或者是傲慢自大，或者是天真无知。现在，我吸取了很多的教训。”
1966年，巴非特家的净资产已经达到900万美元以上，包括他收取的费用和资本收益。然而，他的步伐从未放缓，他的投资运作方式也变得更为苛刻。他规定了两个新的限制条件：一、他不会进入技术性太强的行业，这是投资决策的关键所在。他仍然只喜欢做自己能看懂的、有相当把握的交易机会；二、即使赢利预测比较确定，但如果公司的经营管理存在问题，他同样不予考虑。
在巴菲特和蔡斯二人共同管理的前两年，纺织品市场非常繁荣，短期赢利也还算可观。但巴菲特并没有把赚到的利润再投到纺织行业，他让蔡斯把存货和固定资产进行了清理。这样，伯克希尔公司的现金状况有所好转，可巴菲特近期一直为自己在公司董事会上犯的一个错误而懊悔不已。他因财务成功而激动万分：“我们卖了几个月的人造丝衬里，并且赚了不少的钱。”（后来证明这个成功只是昙花一现。）公司的律师们建议伯克希尔·哈撒韦公司分红，因为公司经营得这么好，如果不分红的话，会被股东指控不合理地保留收入。
也许是由于做白日梦，或是一时的软弱，巴菲特同意了每股派10美分的分红。一股派发10美分，听起来并不是很大方，但巴菲特花了整整一天的时间才意识到这是一个谬论：“天哪，那天，我一定是睡着了。”但等他缓过神来，已经太迟了，这不寻常的举动给合伙人和股东们分了101733美元，而他知道这笔钱经过投资终有一天会变成数百万美元。他告诫自己，他永远也不会犯同样的错误了。
半年后，巴菲特给伯克希尔·哈撒韦公司的股东们提供了一种交换方式：股东可以用自己手里的股票来交换利率为7.5%的公司债，如此他收回了32000股股票。这样他把股东人数中希望得到收入的人基本清洗出局，而剩下的股东更多的是关心公司的成长，而不是红利。在外流通的股票越少，巴菲特就越能加强对伯克希尔·哈撒韦的控制。为了避免出现像丹普斯特那样的窘境，巴菲特听取了蔡斯的建议，在收缩业务的同时好好招呼工会。
到1967年，通货膨胀再度肆虐，工资和原材料的价格快速上涨，各处更廉价的劳动力和南方的纺织厂正在把伯克希尔。哈撒韦逼向绝境。巴菲特把真实情况告知了他的合伙人，伯克希尔·哈撒韦在纺织业上正经历着严峻考验，他无法预测潜在的任何损失，同时也看不到纺织业务这部分资产有什么可观的回报前景。巴菲特正试图尽快把钱从纺织业里抽出来，即使厂里最细微的决策，他也要亲自参与。他亲自过问每一笔资金的用途，甚至办公室削笔刀的费用他也要问个明白，总之，任何开支都难逃他的眼睛。
几乎每一天巴菲特都要和蔡斯、麦肯齐电话交流。因为外部产品的竞争日趋激烈，蔡斯不得不关闭了梭箱织机分部。通过分析财务数据，巴菲特认识到衣物纺织分部和梭箱织机分部的损失巨大，但在坏的情况下砸钱就会重蹈斯坦顿的覆辙，因此他拒绝投资，因为即使加大投资，也不见得有好的收效。在写给蔡斯的信中，巴菲特就不确定性风险，特意提醒他：“除了现金以外，什么都不要相信。让我们更严格地审查我们的客户，保证他们不存在财政困难。如果有人拖欠付款，那就只有当他们偿还过去所有的欠款，并且连支票也结清以后，才能给他们更多的货物。”
他这一年的工作重心是在伯克希尔·哈撒韦“拖后腿”之前找到新的解决办法，在悬崖边上拉住这匹脱僵的野马。巴菲特对奥马哈一家保险公司一直保持关注，即杰克，瑞沃特创立的国民赔偿公司。在巴菲特眼中，瑞沃特的吝啬与自己不相上下，他为了省去一笔存农费，去市中心吃午饭的时侯总是喜欢把外衣提前脱在办公室。瑞沃特是这样解释自己的投资哲学的：“世界上并没有什么糟糕的风险，而只有糟糕的费率。”为了深入了解这家公司，巴菲特还孜孜不倦地学习了有关保险方面的内容。他向他的朋友查理·海德打电话咨询，问瑞沃特有没有兴趣出售自己的公司。
海德的回答很幽默：“机会只有15分钟。因为有一些索赔或类似事情会激怒他，只有在这样的情况下，他才会想到要卖掉国民赔偿公司。”巴菲特立即告诉他，一旦发现瑞沃特处在这个阶段，务必通知他。
1967年2月的一天，瑞沃特指着阴沉沉的天对海德说：“我不喜欢这种天气。也许没有这个公司，我会活得更好。”整个话题围绕着他想卖掉国民赔偿公司而展开，15分钟的机会好像已经来临。“也许我能帮你物色一个好的买家，”海德说，“他的名字叫沃沦·巴菲特。”
然后海德电话通知了巴菲特，瑞沃特正打算以几百万美元的价格卖掉国民赔偿公司。“最近有空出来和他见个面吗？”
“今天下午如何？”巴菲特反应非常快，因为他清楚地知道瑞沃特想卖的心情也许只能维持15分钟。
巴菲特问瑞沃特为什么没有把公司卖给其他人，他回答说他对别人的出价都不满意。他开始罗列自己的诸多条件：公司要留在奥马哈、不希望有员工被解雇等等，巴菲特都答应了，因为他怕15分钟的机会就要消失掉。“你出个价吧。”巴菲特问。“一股50美元。”瑞沃特答道。其实这个价格已经超出了巴菲特的心理预期，但他还是接受了，于是两个人在15分钟的时间里达成了交易。尽管交易达成了，但巴菲特感觉瑞沃特的内心真的不舍得卖掉公司。
巴菲特担心瑞沃特会重新考虑而改变主意，他想在对方未变卦之前快速签下合同。于是他迅速撰写了最后的文件。也许瑞沃特当时已经意识到，没有了国民赔偿公司，他也不会过得更好；但是瑞沃特是一个诚实的人，他不会违反约定。
有了国民PAH尝公司，巴菲特的合伙公司会更好，同时也给他的财富带来了难以想象的巨大推动力。他从伯克希尔抽出资金，因为国民赔偿公司承受的风险不少，需要资金的支持。这时巴菲特已经开始尝试一个崭新的投资模式：如果国民赔偿公司赚钱，他可以用这些收益去购买其他的公司或股票；相反，国民赔偿公司也许需要支付钱给投保人，而这些钱可以从别的生意里赚出来，这就实现了资产的流动性合理配置。把保险业务融入伯克希尔·哈撒韦这个落寞的纺织工厂身上，这就是巴菲特的高明之处。他认为，破产与成功是可以相互转化的，他并不把伯克希尔单纯地看做纺织工厂，在他眼里，伯克希尔是一个可以把资金利用发挥到极致的公司。
巴菲特不仅如愿以偿地得到了国民赔偿公司，还得到了一个精明能干的企业管理人瑞沃特，因为他需要瑞沃特来帮他管理。而瑞沃特虽然卖掉了公司，他也得到了属于自己的东西一一他用出售公司得到的钱买了伯克希尔·哈撒韦的股票。是伯克希尔给巴菲特提供了多元化投资的资金，而在蔡斯的身上，巴菲特也看到了自己的影子：真诚而自立。有一天，蔡斯做自我批评时，巴菲特看了他一眼，说：“蔡斯，你从一无所有终干奋斗到了现在的位置。”从资本家的角度出发，巴菲特似乎关闭纺纱厂才更合理，但他对伯克希尔的感情是发自内心的。他说：“我喜欢在纺织业工作的人们，他们在如此恶劣的条件下为了改善企业辛劳地工作；而且尽管回报率不高，只要它的产量保持在当前水平，我们就希望把纺织业继续经营下去。”
20世纪70年代末，纺织业开始衰退，行业优势也慢慢消失。在1979年的年度报告中，巴菲特写道：“起初我们收购伯克希尔·哈撒韦的目的是想通过扩展纺织业务量来实现赢利。我们的购买价格都是非常划算的，我们用远远低于商业劳动资本的钱把它买了下来。实际上，我们几乎一文没花就得到了大量的机械设备和房地产。但是，事实证明我们的这个购买决策是错误的。尽管我们用心去经营和改善了一些东西，但旧的问题刚解决完，新的问题马上就会出现了。”
巴菲特在1980年给股东的信中写道：“从去年开始，我们纺织业务的范围已大大收缩。伯克希尔纺织厂的业务已终止，尽管有些不情愿，却是非常必要的。一些设备已转移到了新贝德福德，大部分的设备已经卖掉了，或者连同房地产所有权一同卖掉。由于我没有早一点面对这个现实，从而为自己的错误付出了很高的代价。”
伯克希尔公司的纺织业，在20世纪80年代初期一直处于亏损状态，1983年稍微有些好转，但1984年的亏损高达200万美元，这个恶性循环一直在重复进行。1984年后期，纺织部的董事长加里·莫里森给巴菲特寄了一份详细的发展计划。并建议购买新的机械设备，他指出，依靠陈旧设备的工厂不可能赢利。但巴菲特拒绝在亏损的项目上加大投资。1985年5月1日，莫里森给手下的管理层说，工厂’快关门了；但他担心这事会影响工人的工作热情，就没有通知所有员工。8月12日，工人得知了这一情况，车间的机器停止了运转。圣诞节前夕，所有的订单都已经完成，工厂变卖了所有的设备，宣告倒闭。就在当天，伯克希尔的股价涨到了每股2600美元，而20年前巴菲特收购时所付的股价是一股11美元。
1991年，巴菲特在伯克希尔公司的年会上说：“成本优势对任何一个行业来说，都是至关重要的。纺织业作为日用品生意的一个分支，没有低价的成本竞争力，很难发展壮大。现在我知道与低成本的生产者合作了。”
