在AI领域，一家名为Databricks的初创公司近日发布了一个引人注目的开源语言模型，名为"Dolly"。这个模型的突破性在于，它能够在短短30分钟的时间内，从一个开源的大型语言模型中进行训练，达到了与ChatGPT相似的自然语言处理能力。这一技术的背后，不仅有着技术的进步，还带来了对AI领域的一场重大革命。
Dolly的惊人之处
Dolly之所以令人惊叹，是因为它打破了AI领域的一项重大限制，即"CloseAI"。在此之前，大型语言模型的训练通常需要巨大的算力和海量的数据，只有少数大公司拥有足够的资源来进行类似于ChatGPT的大型模型的训练。OpenAI公司在发布ChatGPT等模型时，仅公开了一些基准测试结果，但没有提供训练数据、成本和方法等相关信息，这使得其他公司和个人无法进行类似的尝试。
然而，Databricks公司的技术突破了这一限制，使得任何人都可以克隆出一个类似于ChatGPT的模型，并且只需要很少的数据和算力资源。这个突破的意义在于，它打开了大型语言模型的训练大门，使得更多的人可以参与到自然语言处理的研究和应用中来。
突破CloseAI的限制
"CloseAI"一词用来描述那些只有少数大公司拥有的、不对外公开的大型语言模型。这些公司不仅拥有巨大的算力和数据资源，还保持对模型的封闭控制，不公开相关信息。这导致了一种AI领域的不平等，只有少数公司能够掌握类似于ChatGPT这样的"金手指"，而其他公司和个人则无法进行类似的探索和应用。
Dolly的出现改变了这一现状。它使用了一个名为GPT-J的2021年开源模型，并经过30分钟的训练，就能获得类似于ChatGPT的自然语言处理能力。这项技术的突破对于许多人来说是一个重要的进步，因为他们现在可以使用一个自己训练的模型，而不必依赖于大公司提供的API服务。
从Alpaca到Dolly：技术的演化
Dolly的诞生离不开Alpaca的启发。Alpaca是斯坦福大学基于LLaMA构建的语言模型，利用一个包含50,000个问题和答案的小数据集进行了微调。这使得Alpaca具有了类似于ChatGPT的交互性。Dolly的团队受到了Alpaca的启发，选择了一个2021年发布的开源模型——GPT-J，来作为训练的基础。这个模型有60亿个参数，和ChatGPT相似，但是比起ChatGPT的1750亿个参数，要小得多。
Dolly的团队利用GPT-J来训练自己的模型，并且在短短30分钟的时间内完成了训练。这个模型的性能堪比ChatGPT，虽然参数规模较小，但它已经具备了类似于ChatGPT的交互性。而且，对于那些细分用户来说，使用经过精调的模型可以大大提高性能和准确性。
抢占OpenAI的风头
除了将Dolly作为开源软件发布外，Databricks公司还强调，Dolly只使用了60亿个参数，而且是一个旧的开源模型。这一举动表明，Databricks公司试图通过证明构建类似ChatGPT这样的服务并不像看起来那么困难，来抢占OpenAI的风头。虽然Databricks公司与OpenAI公司并无直接竞争关系，但这个开源项目的发布显示了一个新的趋势：AI技术的民主化正在加速，这使得许多组织和个人都可以使用这些技术来提高其业务效率和创新能力。
总之，Dolly的出现不仅是AI领域的一项技术突破，也是对"CloseAI"限制的一次挑战。它为更多的人开启了AI的大门，让更多的创新成为可能。这个开源项目的影响将持续扩大，我们可以期待看到更多基于Dolly的应用和研究的出现。AI技术的民主化正在走向更广阔的未来，这是一个令人兴奋的时刻。
微信扫一扫 