石墨文档大模型技术专家电话调研纪要

　　Q：协同办公领域对大模型的动作还挺快的。

　　A：嗯。尤其是国外，2月Notion AI就对全平台用户开放了，上个月16号微软推了Copilot。国内，石墨可以说走在前面。

　　Q：国内大模型测试情况怎么样，实际体验下来，觉得是个什么水平？

　　A：目前来看，文心一言最早启动邀测，各方面优势目前最强；阿里通义据说跟的很紧，我们没收到企业测试，用个人账号测了下。讯飞的也是个人内测帐号，也还不错。当然整体看跟chatGPT有一些差距。

　　Q：chatGPT你们接API了吗？

　　A：嗯，对接过。

　　Q：为什么没一直用？

　　A：成本有点高。也有政策方面的要求。

　　Q：你们最早试用chatgpt的时候，觉得哪里还有问题？

　　A：很现实的一个问题就是对国内企业协同管理的特点不了解，没有这方面的数据积累和经验。尤其是办公文档的生成，我们自己盲测过，满意度不高。

　　Q：中国公司的大语言模型和海外比技术上会有区分吗？

　　A：从我们角度看，国内公司服务会更灵活。比如现在我们跟百度文心一言联合优化，当要求做定向调优时候，数据进来之后就能够做的更加精细化，更加高准确率。因为我们有些场景不能够容忍太高的错误率，所以需要跟算法厂商一起解决这些问题。时间长了之后，会觉得有越来越多的不同之处，虽然基础技术是比较类似。

　　Q：现在ChatGPT没有对国内开放，国内厂商在中文的领域，相比海外厂商，在用户体验上能形成一定的或者明显的优势？

　　A：短期来看，可以通过这样的一个时间窗口做逼近chatGPT的效果，是国内公司比较好的状态。但很难说，长期来看语言不会是一个大的障碍。chatGPT的中文对话能力不弱，只是在很多中文语境下的理解不足。这个需要靠数据来解决。

　　Q：国内厂商在这块表现还可以？

　　A：国内厂商确实在这方面更有优势，比如百度有检索的能力，中文语料库积累多，对我们在的这个行业来说，这是个竞争砝码，或者说壁垒吧。

　　Q：数据上你们有合作吗？

　　A：中文数据的数量质量本来跟英文就有不小的差距，要对数据进行高质量标注和清洗。这块我们跟百度一起针对办公行业数据做了不少工作。这是提升模型效果的前提。

　　Q：应用场景的数据，在中国来讲是不是一种比较紧缺的资源。如果是要把模型训练好，可能非常依赖你们这些产业厂商的合作？

　　A：特定领域的数据是比较稀缺的，所以可能会形成这种商业模式：百度、阿里这样的大公司负责训练基础模型，创业公司或者模型应用公司，在大模型的基础上，加上特定领域的一些数据集，得到这种新的领域模型，来服务自身业务。这种模式下，大厂有钱赚，对于企业来说，它既能保护自己的数据隐私，同时也能够形成自己行业的商业化路径。

　　Q：模型越来越多，这些模型都基于差不多的数据去训练出来的，又有很多应用去基于这些模型去开发不同领域的垂直应用。有没有可能模型会趋于雷同，甚至很多应用程序会被迅速的抄袭，迅速的雷同化？

　　A：实际来看，各家公司的算法上限不同，不同的公司，它掌握的能力不一样，算法还是有很大的提升空间。模型的发展的效果，可能是越来越往上的。我们也不担心抄袭或者雷同化，对模型的理解和微调是个细致的工作，基于此做出来的产品，用户体验不会相同，这个我们技术团队有信心。

　　Q：你们跟文心一言对接到哪一步了，使用体验怎么样？

　　A：对接早就完成了，最近一直在迭代模型，有些需求需要刷新处理。效果比最开始给我们体验的版本好多了。我们内测的AI 助手石小墨，已经能够快速生成简历、合同、故事等了。

　　Q：能举个例子吗？文心一言有哪些技术上的不同。

　　A：比如检索增强，因为我们很多用户会生成合同，这些是相对有比较确定性答案的，检索增强能带来更好地体验。还有知识增强，也能让模型进化速度更快，让生成的内容更合理，准确度更高。

　　Q：目前团队对文心一言的评价怎么样？

　　A：研发专家都觉得挺不错的。

　　Q：从实际落地看，有什么场景？

　　A：我们内测了AI助手石小墨，在简历生成、合同、博客等类型的内容生成上比较成熟。未来希望用户将能够在文案智能创作、数据整合分析、幻灯片制作、图片视频生成这些办公场景下，感受到这一波AI的能力。

　　Q：文心一言预计能提供哪些服务？

　　A：推理、微调、托管都有，模型放在百度云上，现在运行的情况稳定，没出问题。也会考虑私有化部署。

　　Q：成本呢？

　　A：比我们预期的好，长期看在接受范围内。而且整体成本比最初降低了十分之一，这一点是超出我们想象的。

　　Q：听说QPS提升了10倍，你们有感知吗？

　　A：嗯，这个确实是有的，速度提升得很快，端到端优化有优势。这个组合拳，别家还打不了。

　　Q：什么组合拳？

　　A：飞桨和文心大模型联合优化。百度的研发也跟我们讲，芯片-框架-模型-应用，这四层技术栈他们内部完全打通，不只是服务我们，他们自己内部也要用，所以这几年积累了一些经验，拿出来服务客户比较顺。全栈自主的生态链在我们的选择中非常重要，尤其是软件上，要能沉淀自己的开发生态。

　　Q：这种端到端的优化，对你们有价值吗？

　　A：直接的成本降低啊！商业的竞争最终竞争的是效率，效率比别人更高就赢了。要是效率比别人低，投入再多最终也是打水漂。

　　Q：QPS提升，对你们应对高并发也有好处吧。

　　A：嗯，现在内测还看不出来，量太小了。功能正式上线之后，我们认为会更明显。

　　Q：你们知道文心一言的参数量吗？有具体的数字吗？

　　A：肯定是千亿量级。这是一个门槛，如果不过千亿不会出现智能涌现，这是过去实验都证明过的。过了千亿之后，不是万亿量级参数一定比千亿效果要好。大模型不完全是靠提升参数规模，要在其他方面提升，不用太纠结。

　　Q：你们投入使用后，对算力的需求会不会指数级的提升？

　　A：用户量级的上涨，对算力的需求确实会呈现指数级的增长。至少是非常正相关的。所以文心一言这样和飞桨，甚至芯片层的推理和训练这一块的联合优化才是重点，就是怎么端到端地让资源尽可能地节省，让整体的一个性能更好地提升。

　　Q：阿里不也有自己的机器学习平台，这方面有优势吗？

　　A：阿里没有自研深度学习框架，如果基于国外框架，不确定能优化到什么程度。

　　Q：阿里通义千问你们也在测吗？

　　A：没有。个人账号试用了下。

　　Q：效果怎么样？

　　A：在指令理解、多轮交互这几个方面能力比较突出。也是一个多语言的产品体系。还有一个优势是阿里云的算力支持，算力压缩做的很极致。

　　Q：这对你们来讲有竞争优势吗？

　　A：某种程度上有，但最终拼的还是算法、落地场景。目前评价还太早。

　　Q：那未来会不会有开源的大模型？

　　A：对于我们来说，现在只能选择效果更好的，或者性价比更高的模型来进行开发。文心一言的效果和价格都在我们理想的选择范围内，所以先让业务跑起来。对于未来，开不开源最终其实是一个市场的自然选择，我们只能拭目以待。