声明:本文来自于微信公众号 量子位,作者:量子位,授权Soraor转载发布。
大模型正式上岗,化身AI售前助手,已经开始拯救IT售前人了!
在langchao信息内部,一款名为“元小智”的AI助手,已经成为了员工们的得力助手。
不仅能几秒钟读完上百页的招标文件,产品资料问答、信息比对、查询检索等工作也都得心应手。
过去,人工需要几天才能完成的任务,只要几分钟就能搞定了。
而且模型微调、应用开发过程全程零代码,售前团队1人1月即可完成,工作效率UP UP。
售前是IT行业解决方案的构建者,所需具备的技能自然也多种多样,需要“三头六臂”的全能选手才能胜任——
不仅针对IT本专业需要具备扎实的基础知识,还要有良好的市场敏感度、快速学习能力和强大的沟通技巧。
而在IT行业的销售中,招投标又是一种重要形式,因此售前人员还要向投标工作中投入大量精力。
他们要先完成对招标文件的解读分析,精准理解并解答招标文件的技术需求,并在此基础上撰写出符合招标要求的文件。
但交付的时间,往往又极为有限,不仅如此,标书的制作还面临着多重困难。
首先,招标文件内容冗长,而且充满了细节,导致标书材料分析耗时,且关键信息容易遗漏。
但在需求一侧,招投标业务时间窗口十分紧迫,同时又要严格按照业务规则执行,容错率低,对文件内容的精准性要求极高。
这对业务人员的综合经验和技术水平,是一项不小的考验。
同时,他们还需要对公司产品、技术白皮书、标书、解决方案等了如指掌。
但是这些产品及方案材料更新速度非常快,又分散在不同部门,信息整合与查阅工作又是一项新的挑战。
不难看出,仅标书这一项工作就足以让售前人员焦头烂额,更不必说还有一系列其他工作。
面对重重困难,人们想到了让机器替代一部分人工,减轻售前人员的压力——
基于大模型开发的AI助手,在分析处理长文本方面有着得天独厚的优势。
但实际操作起来,很快就又发现了新的问题。
首先,无论是人还是大模型,想要胜任售前岗位,对自身产品信息的了解都是不可或缺的。
对于大模型而言,了解的方式就是建立专用知识库。
一家大型IT公司的全业务线可能包含近千款产品,大到产品迭代型号,小到插槽数量、板卡规格,这些信息都要精准无误,才能让大模型帮助售前完成繁重的产品信息查阅工作。
但这些信息内容繁杂,且数据本身结构化程度低,提取工作复杂,导致专用知识库建设并非易事。
退一步讲,即便有了这样的知识库,基础模型+RAG的模式也不足以满足工作中的专业能力需求——
售前需要撰写的标书文件具有十分专业的行文格式、专业术语,虽然这种模式在问答任务中有一定准确率,但是并不代表理解了招投标工作的业务逻辑。
解决这个问题的办法便是微调,但优质微调数据是一大难题,并且需要开发人员具备丰富的大模型微调经验,研发周期长、试错成本高。
另外,招投标文件包含大量企业隐私数据,必须确保数据绝对安全,因而不能上传云端利用公共大模型进行训练推理,也就是说,企业大模型必须进行本地化私有部署。
这些要求叠加在一起,涉及多环节、工具,使得这样的模型开发本就十分困难且周期漫长。
虽然售前人员最了解业务场景,对这些痛点也是如数家珍,但他们并不具有相应的代码开发能力,更不用说定制化的应用开发了。
不过好消息是,现在大模型应用开发已经没有那么复杂了——即使没有技术出身,只要明确需求,简单学习之后也能上手。
在langchao信息内部,售前部门就已经利用大模型开发平台工具开发出了售前AI助理“元小智”,针对售前工作中的痛点各个击破,将员工从庞杂的工作中解放了出来。
“元小智”可以一键处理招标文件,对招标文件中的重要信息进行全面且准确的解读。
根据项目需求,“元小智”可以高效识别数万字上百页的招标文件,招标关键信息的识别准确率达到85%,秒级提取客户核心需求。
过去需要几天的招标文件分析工作,几分钟就能完成,大幅提升了业务人员的工作效率,缩短时间窗口。
“元小智”还凭借智能问答功能,成为了langchao信息售前专属的“百科全书”,辅助产品信息查阅与专业内容生产。
通过该功能,售前人员快速查阅并生成langchao信息全系列在售产品及方案的相关内容,生成对应的产品优势、核心参数等支撑信息,免去了售前人员在海量产品文件中逐一查阅的繁琐过程。
知己知彼才能百战不殆,除了自身产品体系之外,了解同类产品方能有的放矢地制定策略,在竞争中取得优势。
针对招标核心信息,“元小智”可以通过网络检索功能查询同类产品情况,辅助售前人员快速了解产品信息,节约了至少一半的分析时间,整体将售前的投标工作提速3-5倍。
而且联网检索有需要时才会调用,并与企业数据库隔离,数据安全有保障。
在“元小智”的背后,是langchao信息的企业大模型开发平台——元脑企智EPAI(Enterprise Platform of AI)。
其中的数据处理工具能够自动解析结构化数据(如表格),并将其转化为标准格式的知识库条目;针对非结构化数据(如纯文本信息),元脑企智EPAI则能够自动提取有用信息并进行高效存储。
langchao信息售前团队使用元脑企智EPAI实现了数据的自动化收集、整理、清洗和索引,从1500+的pdf、docx、doc、xls等多种格式在内的业务资料、企业产品信息与方案文件中抽取数据,构建起了8大业务线全部在售产品的知识库。
同时有效融合RAG技术,将繁杂的企业知识成功转换为大模型“最强外挂”。
对于大模型微调,元脑企智EPAI也提供了全链路数据治理工具,可以从种类多样、场景复杂、规模庞大的招投标文件、产品信息、行业报告中,自动抽取生成微调数据。
利用元脑企智EPAI平台的评判大模型,针对生成的每一条微调数据进行自动打分,剔除低质量数据,通过格式过滤进一步提升微调数据质量,减少数据筛选和处理的时间和成本。
如此反复多次,最终形成了数十万条高质量微调数据,利用元脑企智EPAI平台的零代码微调工具进行模型微调,多次迭代后成功实现模型专业能力提升,构建起了符合业务需求的专用大模型。
元脑企智EPAI还提供了多种应用开发工具,可零代码快捷开发本地应用,平台支持多种参数的设置、修改,同时提供 API 调用、chat页面对话等多种交互方式,实现开箱即用。
同时,元脑企智EPAI及利用其打造的大模型应用可完全本地化部署,并配有多种安全技术,数据安全能够得到保障。
“元小智”虽然是langchao信息的内部应用,但是借助其背后的元脑企智EPAI提供的数据处理工具、零代码微调工具、知识库检索工具等,其他企业也可以建立起自己的“元小智”。
不仅如此,元脑企智EPAI平台更是加速大模型落地的有效赋能工具,提供了一套更完整的企业大模型落地解决方案。
元脑企智EPAI平台提供了上亿条基础知识数据,同时还包含了自动化的数据处理工具,可以帮助用户整理行业数据和专业数据,生成高质量的微调数据和行业/企业知识库,进而打造企业专属数据资产。
有优质的基础+行业+企业数据作为支撑,大模型生成内容的准确性和可靠性就有了保证,大模型落地的最大痛点——幻觉问题将大幅缩减。
同时,结合RAG技术,元脑企智EPAI可以解决企业知识库更新频率高但大模型微调耗时长、频率低的矛盾,保证模型能够及时获得处理最新知识的能力。
另一方面,元脑企智EPAI还提供了高效的微调工具,支持千亿参数模型面向产业知识的快速再学习,并让模型具备百万Token的长文档处理能力,解决窗口长度不足的问题,快速打造领域大模型。
而且元脑企智EPAI支持包括CPU和各种GPU在内的多元算力,以及各种主流开源、闭源模型,适配快,迁移成本低,为企业提供了丰富的模型和算力选择。
此外,企业用户最担心的数据安全问题,元脑企智EPAI也提供了坚实保障,通过权限管理、数据加密、内容审查等多种技术手段,确保数据和模型安全,做到了隐私信息不泄露。
“元小智”就是langchao信息打下的一个很好的样板,通过“元小智”,我们可以见微知著,看到其背后元脑企智EPAI平台的强大能力——
从耗时的招标文件分析,到繁琐的产品信息查询,再到专业的标书撰写……这些曾经让售前人员头疼不已的难题,现在都能够得到高效、准确的解决。
借助元脑企智EPAI这样的企业大模型开发平台,即使是非技术背景的售前团队,也能够快速构建起适合自身需求的AI助手,技术门槛大大降低。
可以说,元脑企智EPAI,使大模型落地成为了可触可及的现实。