巴菲特收购濒临破产、价格低廉的“烟蒂”公司伯克希尔是他开始走向成功的起点，也是他第一次失败的经历。《华尔街日报》曾这样评价，“这是少数几个让巴菲特赔钱的商业之一”。他后来也承认了自己收购伯克希尔纺织厂是个错误:“我知道这是一桩很难做的生意....当时的我或者是傲慢自大，或者是天真无知。现在，我吸取了很多的教训。”
1966年，巴菲特家的净资产已经达到900万美元以上,包括他收取的费用和资本收益。然而，他的步伐从未放缓，他的投资运作方式也变得更为苛刻。他规定了两个新的限制条件:一、他不会进入技术性太强的行业，这是投资决策的关键所在。他仍然只喜欢做自己能看懂的、有相当把握的交易机会;二、即使赢利预测比较确定，但如果公司的经营管理存在问题，他同样不予考虑。
在巴菲特和蔡斯二人共同管理的前两年，纺织品市场非常繁荣，短期赢利也还算可观。但巴菲特并没有把赚到的利润再投到纺织行业，他让蔡斯把存货和固定资产进行了清理。这样，伯克希尔公司的现金状况有所好转，可巴菲特近期一直为自已在公司董事会上犯的一个错误而懊悔不已。他因财务成功而激动万分:“我们卖了几个月的人造丝衬里，并且赚了不少的钱。”(后来证明这个成功只是县花一现。)公司的律师们建议伯克希尔.哈撒韦公司分红，因为公司经营得这么好，如果不分红的话，会被股东指控不合理地保留收入。
也许是由于做白日梦，或是一时的软弱，巴菲特同意了每股派10美分的分红。一股派发10美分，听起来并不是很大方，但巴菲特花了整整一天的时间才意识到这是一个谬论:“天哪，那天，我一定是睡着了。”但等他缓过神来，已经太迟了，这不寻常的举动给合伙人和股东们分了101733美元，而他知道这笔钱经过投资终有一天会变成数百万美元。他告诫自己，他永远也不会犯同样的错误了。
半年后，巴菲特给伯克希尔.哈撒韦公司的股东们提供了一种交换方式:股东可以用自己手里的股票来交换利率为7. 5%的公司债，如此他收回了32000股股票。这样他把股东人数中希望得到收入的人基本清洗出局，而剩下的股东更多的是关心公司的成长，而不是红利。在外流通的股票越少，巴菲特就越能加强对伯克希尔.哈撒韦的控制。为了避免出现像丹普斯特那样的窘境，巴菲特听取了蔡斯的建议，在收缩业务的同时好好招呼工会。
到1967年，通货膨胀再度肆虐,工资和原材料的价格快速上涨，各处更廉价的劳动力和南方的纺织厂正在把伯克希尔.哈撒韦逼向绝境。巴菲特把真实情况告知了他的合伙人，伯克希尔.哈撒韦在纺织业，上正经历着严峻考验，他无法预测潜在的任何损失，同时也看不到纺织业务这部分资产有什么可观的回报前景。
巴菲特正试图尽快把钱从纺织业里抽出来，即使厂里最细微的决策,他也要亲自参与。他亲自过问每一笔资金的用途，甚至办公室削笔刀的费用他也要问个明白，总之,任何开支都难逃他的眼睛。
几乎每一天巴菲特都要和蔡斯、麦肯齐电话交流。因为外部产品的竞争日趋激烈，蔡斯不得不关闭了梭箱织机分部。通过分析财务数据，巴菲特认识到衣物纺织分部和梭箱织机分部的损失巨大，但在坏的情况下砸钱就会重蹈斯坦顿的覆辙，因此他拒绝投资，因为即使加大投资，也不见得有好的收效。
在写给蔡斯的信中，巴菲特就不确定性风险，特意提醒他:“除了现金以外，什么都不要相信。让我们更严格地审查我们的客户，保证他们不存在财政困难。如果有人拖欠付款，那就只有当他们偿还过去所有的欠款，并且连支票也结清以后，才能给他们更多的货物。”
他这一年的工作重心是在伯克希尔.哈撒韦“拖后腿”之前找到新的解决办法，在悬崖边上拉住这匹脱缰的野马。巴菲特对奥马哈一家保险公司一直保持关注，即杰克.瑞沃特创立的国民赔偿公司。在巴菲特眼中，瑞沃特的吝啬与自己不相上下，他为了省去一笔存衣费，去市中心吃午饭的时候总是喜欢把外衣提前脱在办公室。瑞沃特是这样解释自己的投资哲学的:“世界上并没有什么糟糕的风险，而只有糟糕的费率。”
为了深入了解这家公司，巴菲特还孜孜不倦地学习了有关保险方面的内容。他向他的朋友查理.海德打电话咨询，问瑞沃特有没有兴趣出售自己的公司。
海德的回答很幽默:“机会只有15分钟。因为有一些索赔或类似事情会激怒他，只有在这样的情况下，他才会想到要卖掉国民赔偿公司。”巴菲特立即告诉他，一旦发现瑞沃特处在这个阶段，务必通知他。
1967年2月的一天，瑞沃特指着阴沉沉的天对海德说:“我不喜欢这种天气。也许没有这个公司，我会活得更好。”整个话题围绕着他想卖掉国民赔偿公司而展开，15分钟的机会好像已经来临。“也许我能帮你物色一个好的买家,”海德说，“他的名字叫沃沦.巴菲特。”
然后海德电话通知了巴菲特，瑞沃特正打算以几百万美元的价格卖掉国民赔偿公司。“最近有空出来和他见个面吗?”
“今天下午如何?”巴菲特反应非常快，因为他清楚地知道瑞沃特想卖的心情也许只能维持15分钟。
巴菲特问瑞沃特为什么没有把公司卖给其他人，他回答说他对别人的出价都不满意。他开始罗列自己的诸多条件:公司要留在奥马哈、不希望有员工被解雇等等，巴菲特都答应了，因为他怕15分钟的机会就要消失掉。“你出个价吧。”巴菲特问。“一股50美元。”瑞沃特答道。其实这个价格已经超出了巴菲特的心理预期，但他还是接受了，于是两个人在15分钟的时间里达成了交易。尽管交易达成了，但巴菲特感觉瑞沃特的内心真的不舍得卖掉公司。
巴菲特担心瑞沃特会重新考虑而改变主意，他想在对方未变卦之前快速签下合同。于是他迅速撰写了最后的文件。也许瑞沃特当时已经意识到，没有了国民赔偿公司，他也不会过得更好;但是瑞沃特是一一个诚实的人，他不会违反约定。
有了国民赔偿公司，巴菲特的合伙公司会更好，同时也给他的财富带来了难以想象的巨大推动力。他从伯克希尔抽出资金，因为国民赔偿公司承受的风险不少，需要资金的支持。这时巴菲特已经开始尝试一个崭新的投资模式:如果国民赔偿公司赚钱，他可以用这些收益去购买其他的公司或股票;相反，国民赔偿公司也许需要支付钱给投保人，而这些钱可以从别的生意里赚出来，这就实现了资产的流动性合理配置。
把保险业务融入伯克希尔.哈撒韦这个落寞的纺织工厂身上，这就是巴菲特的高明之处。他认为，破产与成功是可以相互转化的，他并不把伯克希尔单纯地看做纺织工厂，在他眼里，伯克希尔是一个可以把资金利用发挥到极致的公司。
巴菲特不仅如愿以偿地得到了国民赔偿公司，还得到了一个精明能干的企业管理人瑞沃特，因为他需要瑞沃特来帮他管理。而瑞沃特虽然卖掉了公司，他也得到了属于自己的东西——他用出售公司得到的钱买了伯克希尔.哈撒韦的股票。
是伯克希尔给巴菲特提供了多元化投资的资金，而在蔡斯的身上，巴菲特也看到了自己的影子:真诚而自立。有一天，蔡斯做自我批评时，巴菲特看了他一眼，说:“蔡斯，你从一无所有终于奋斗到了现在的位置。”
从资本家的角度出发，巴菲特似乎关闭纺纱厂才更合理，但他对伯克希尔的感情是发自内心的。他说:“我喜欢在纺织业工作的人们，他们在如此恶劣的条件下为了改善企业辛劳地工作;而且尽管回报率不高，只要它的产量保持在当前水平，我们就希望把纺织业继续经营下去。”
20世纪70年代末，纺织业开始衰退，行业优势也慢慢消失。在1979年的年度报告中，巴菲特写道:“起初我们收购伯克希尔.哈撒韦的目的是想通过扩展纺织业务量来实现赢利。我们的购买价格都是非常划算的，我们用远远低于商业劳动资本的钱把它买了下来。实际上，我们几乎一文没花就得到了大量的机械设备和房地产。但是，事实证明我们的这个购买决策是错误的。尽管我们用心去经营和改善了一些东西，但旧的问题刚解决完，新的问题马上就会出现了。”
巴菲特在1980年给股东的信中写道:“从去年开始，我们纺织业务的范围已大大收缩。伯克希尔纺织厂的业务已终止，尽管有些不情愿，却是非常必要的。一些设备已转移到了新贝德福德，大部分的设备已经卖掉
了，或者连同房地产所有权一同卖掉。由于我没有早一点面对这个现实，从而为自己的错误付出了很高的代价。”
伯克希尔公司的纺织业，在20世纪80年代初期一直处于亏损状态，1983年稍微有些好转，但1984年的亏损高达200万美元，这个恶性循环一直在重复进行。1984年后期，纺织部的董事长加里.莫里森给巴菲特寄了一份详细的发展计划，并建议购买新的机械设备，他指出，依靠陈旧设备的工厂“不可能赢利。但巴菲特拒绝在亏损的项目上加大投资。1985年5月1日,莫里森给手下的管理层说，工厂“快关门了;但他担心这事会影响工人的工作热情，就没有通知所有员工。8月12日，工人得知了这一情况，车间的机器停止了运转。圣诞节前夕，所有的订单都已经完成，工厂变卖了所有的设备，宣告倒闭。就在当天，伯克希尔的股价涨到了每股2600美元，而20年前巴菲特收购时所付的股价是一股11美元。
1991年，巴菲特在伯克希尔公司的年会上说:“成本优势对任何一个行业来说，都是全关重要的。纺织业作为日用品生意的一个分支，没有低价的成本竞争力，很难发展壮大。现在我知道与低成本的生产者合作了。”
