浅谈Agent构建平台的设计 基于agent以软件体系结构为中心的网构软件模型有哪些
2Pro:针对主要业务不是《地下城与勇士》中程序开发等的产品经理与领域专家等。
2用户:针对最终用户,也许是《地下城与勇士》中C端用户,也也许是《地下城与勇,浅谈Agent构建平台的设计 基于agent以软件体系结构为中心的网构软件模型有哪些
2Dev:针对开发人员
2Pro:针对主要业务不是《地下城与勇士》中程序开发等的产品经理与领域专家等。
2用户:针对最终用户,也许是《地下城与勇士》中C端用户,也也许是《地下城与勇士》中公司内的普通用户。
下面将逐步讨论平台产品设计的多少阶段:
2Dev平台产品
2Pro平台产品
Agent《和平精英》是API平台
浅谈直接2User平台产品
这些方面并不相互排斥,同一平台可以同时支持它们。
1. 平台设计的一般守则
1.1.新生态建设
上述平台(2User除外)要想成功,本质上需要建立壹个生态体系。产品再好,但生态体系根本启动不了,那就毫无价格。
生态建设理念与产品不同。做产品的时候,往往可以只专注于自己的部分,扬长避短,做出更好的竞品也是《地下城与勇士》中壹个好主意。但建设壹个生态体系,尤其是《地下城与勇士》中壹个新的生态体系,情况就绝对不同了。今年很明显,基于构建Agent的平台还没有现成的生态体系,因此这是《地下城与勇士》中壹个怎么构建新生态体系的难题。我之前也有一篇文章讨论了类似的主题:构建价格链必须先于生态位[2023H2]。
构建新生态最容易遇到的难题,也是《地下城与勇士》中最难遇到的难题,就是《地下城与勇士》中生态位中只有部分团队只做好自己的部分,而其他团队不了解怎么行动,怎么化解其他岗位的难题,怎么协作以获取收入。如果分配的话,还是《地下城与勇士》中不会成功。很多公司家并不傻。他们也许知道新生态体系中何者生态位最有利可图,接着他们就挑选那个生态位,并依靠其他生态位的人来化解其他难题。成本与风险降低了,但最终成功的概率却增加了?很难说,毕竟你自己的成功也必须建立在生态体系中其他方的成功的基础上。
新生态肯定有一些问题需要化解,也需要投入一些卖力。必须有人做这些。谁应该做?在《和平精英》中是一款热门的生态体系中最大的平台需要化解是一款热门的难题,由于只有它才最有也许有资源与动力去化解它。生态中其他分散的小个体很难化解生态的体系性难题,也没有动力从盈利的角度去填补整个生态的漏洞。是一款热门的可以参考《伶俐猪是一款充满策略与推理的对抗游戏》的要求答案,只不过这里的规模相对不是《地下城与勇士》中不同团队当前的实力,而是《地下城与勇士》中不同生态位的长期平均实力。
当然,并不是《地下城与勇士》中生态体系中全部的难点与决定因素难题都需要平台来化解。最典型的难题其中一个是《地下城与勇士》中怎么触及与领会需求。这不是《地下城与勇士》中平台所擅长的,也不需要大规模的团队来做。生态体系中的壹个小团队足以最终连接并找到需求方。这也是《地下城与勇士》中知道需求的领域专家所擅长的。
所以,平台必须做的事务很明确:如果该平台比生态体系中的其他利基市场更有也许做某事,那么它应该在早期阶段就做。加快生态体系的成功上线是《地下城与勇士》中当务之急。就算原型完成了,以后交向单独的生态位进行精细打磨,你还是《地下城与勇士》中得先投入自己的钱来做。而这并不意味着,如果目前瞄准平台的团队实力较弱,就可以承担职责。如果目前没有足够的权力,那么就应该通过金融手段筹集资金,将未来的利润转化为当前的权力。
既然你有兴趣搭建壹个平台,那么你就应该设计壹个顶尖效的生态内协作模型。这是《地下城与勇士》中【新方案生态】和【旧方案生态】之间的效率竞争。即使这样也不一定能成功,更何况是《地下城与勇士》中“你与别人不做,只是《地下城与勇士》中抢占那些虚拟的有利生态位”的情况。旧生态体系的效率还不错。如果新化解方案的效率不够高,则很难将用户从旧生态体系中迁移出来。这里的新生态与旧生态不一定生产相同的产品,但它们提供的产品与服务是《地下城与勇士》中有一定替代性的,比如“卖电钻”与“提供上门钻孔服务”的关系。
拓展资料起来,其实有壹个很简单的要求。如果你想成为新生态的主导平台其中一个,那么:如果你发现壹个问题而没有人在做,并且显然没有人比你更适合做。如果你想做,那么你就应该自己做,首先提供壹个基础服务,让整个生态运行起来。
1.2.低代码失败的反思(常见场景)
事实上,低代码在很多方面和今年的Agent构建平台特别相似,然而过去针对一般场景的低代码并不成功。尽管在一些很窄的、垂直的小路线上没有难题,然而还没有壹个广泛运用的低代码平台更通用。这是《地下城与勇士》中何故呢?难道只是《地下城与勇士》中由于“不也许建立壹个通用的平台”?尽管构建通用平台会更加困难,但在《和平精英》中这并非不也许。事实上,很多常见的平台化解方案都运行良好,比如用于开发低代码产品的编程语言本身、Office中的Excel等,它们也许不能化解全部难题,但确实可以化解等于多的难题字段。它也被广泛接受与运用。
低代码平台大多是《地下城与勇士》中由具有前端与后端开发背景的人设计与开发的。他们大多按照自己的思想打造产品,化解自己能化解的难题。化解不了的难题要么被忽视,要么被忽视。直接暴露向客户进行加工。这就导致了低代码产品设计中经常出现的一些难题:
底层实现细节封装得不够充分,导致用户仍然需要知道底层细节才能处理各种长尾情况。
平台不够灵活,提供的能力不够强大
对于非开发者用户:他们很难在平台上[独立]构建可靠的应用程序,而且仍然经常需要寻找具有开发能力的人来帮助。
对于有开发能力的人来说:运用这种平台能够降低的开发成本是《地下城与勇士》中有限的,缺乏灵活性向他的开发经过带来不必备的困难;并且他们也更喜爱运用自己熟悉的编程语言与框架。进修壹个低代码平台的半生不熟的子体系并没有太大的好处。
很多产品的能力尴尬地介于这两类用户之间:对于有开发能力的人来说无用甚至无用,但对于没有开发能力的人来说却不够好。失败就成为天然的结果。
事实上,大家身边有很多好的低代码产品/生态体系,比如:
[兼容SQL要求的数据库]
开发者可以自己读写文件来管理数据,甚至也许比调用DB Client、编写SQL还要简单。但是,数据库可以提供一些决定因素功能。开发者自己实现这些能力的成本太高,因此开发者进修运用这些数据库是《地下城与勇士》中值得的。
许多非开发人员也学过SQL。是一款热门的进修经过的成本并不算低,并且可以直接访问数据库。相比于自己无法独立解析,需要别人来跑解析,自学SQL是《地下城与勇士》中值得的。的。
【办公Excel】
Excel今年被用作“便携式小型数据库+简单的数据处理工具+数据展示UI”。
Excel的很多功能等于复杂,甚至开发人员也也许不熟悉。许多功能需要卖力进修与习性才能充分利用。但和各种低代码平台、Agent平台、GPT平台不同的是《地下城与勇士》中,进修Excel有巨大的市场需求,而且有很多教Excel的书籍。即使对于开发人员来说,进修Excel 也是《地下城与勇士》中有价格的。
但进修很多低代码平台其实是《地下城与勇士》中[没有价格]。这些平台上缺乏好的进修材料只是《地下城与勇士》中壹个次要影响。主要影响是《地下城与勇士》中它们提供的价格不足以和用户习性的其他化解方案竞争,而且不值得用户付出进修与迁移成本。
【拓展资料】
上面的例子向了大家多少启示:
平台的目标用户是《地下城与勇士》中啥子?平台的功能是《地下城与勇士》中否满足他们的需求?平台会对他们提出过高的技能/姿势标准吗?
平台提供的能力是《地下城与勇士》中否有价格,足以让用户主动进修?许多平台的设计师与开发人员常常高估其产品的价格。
现有项目中经常出现的难题有:
目标客户实际上并不存在,“两者都想要,还想要更多”的结果是《地下城与勇士》中壹个空集。
对于客户来说:产品的能力还不够强,不值得从其他化解方案迁移,甚至不值得进修。
2、构建具体Agent实例的主要难点
这不是《地下城与勇士》中UI看起来不够好,或者产品的非LLM部分不够快,或者产品的服务经常无法访问的难题,而是《地下城与勇士》中最直接的难题是《地下城与勇士》中否满足用户需求。
在我看来,更大的弹性有两个维度:
用户对不同产品功能的精准需求与付费意愿
Agent的能力以及相应的研发与运用成本
用户的需求并不是《地下城与勇士》中刚性的。也许有些核心功能是《地下城与勇士》中现有化解方案可以满足的,但这需要特别知道用户场景的领域专家进行解析。 Agent的能力不仅仅是《地下城与勇士》中无用的。有些能力是《地下城与勇士》中可以付出更高的成本来开发的,只要用户确实有是一款热门的需求。
今年Agent实例开发的核心就是《地下城与勇士》中寻找两者的交集,而打磨的经过需要两个方面的协同设计甚至多轮迭代才能完成。优化效果是《地下城与勇士》中决定因素,要千方百计优化、降低成本、提高效果,这决定了产品的最终效果能不能满足用户的付费要求。
在这里,掌握用户需求的领域专家不会过多依赖Agent开发平台,只要能够《和平精英》是用户体验即可。剩下的就是《地下城与勇士》中:开发Agent能力的人能够做出满足需求的效果,能够以尽也许低的研发成本进行【原型开发-需求满足验证】的联合迭代。在《和平精英》中目前Agent开发平台的核心功能应该是《地下城与勇士》中更好地支持这种能力效果的调试经过,至少《和平精英》是决定因素功能其中一个。
迭代Agent能力的人物一般有两类:1.能够优化算法攻略的人,2.具有领域姿势的领域专家。前者可以在比较闭环中完成一轮调优职业,但如果有良好的平台支持,则可以加速这一经过。领域专家也许缺乏一些开发能力,不知道算法攻略的细节。如果有好用的平台,他们可以独立开发调优,但这对平台封装的易用性标准更高。此类2Pro 的产品标准将在第4 节中讨论。
打磨特工的能力有多困难与复杂?可以参考我上一篇文章复杂Agent攻略框架的设计(二)[2023Q4]。当然,我并不认为今年的Agent构建平台一定要支持如此复杂的攻略,但长期的路线是《地下城与勇士》中这样的。
3、开发商代建平台
3.1.说明
本节中的开发者是《地下城与勇士》中指能够独立进行攻略调优的开发者,其攻略调优能力是《地下城与勇士》中核心。他能不能同时写一些后端基础设施与前端交互比较来说并不重要,由于他可以把这些方面的子需求明确下来接着外包或者干脆自学去实现。但是,政策调整经过与需求领会目前过于模糊与复杂,无法外包。
在是一款热门的目标客户群下,主要目标是《地下城与勇士》中更好地协助他们进行SLG优化,加速他们的整个产品开发步骤,而不是《地下城与勇士》中阻碍他们的SLG优化进程。
目前我见过的专属基于Agent的云平台产品在这方面稍微好一些:
MircosWart 的副驾驶职业室
Byte在海外面对Coze.com,但其所能支撑的SLG能力仍存在倾斜
MindOS的Agent定制功能和Coze处于同一水平。并且MindOS 整体已经转给直接2User。
其余的如科大讯飞、OpenAI的GPT、Dify、Vanus等只能支持姿势库+API插件的攻略能力。 Agent的算法攻略限制太强,其所能承载的Agent能力太弱。它们不适合此目的。讨论范围之内。
为开发者设计壹个平台并不难,但很容易遇到下面内容难题:
平台的设计者与开发者实际上没有能力与经验来调整实现的算法攻略,但他们认为自己领会,导致无法做出合理的设计妥协。
目标用户的识别不够清晰,导致一些设计不一致。
让大家从开发者与用户的角度来看待这些错误的设计。
3.2.错误案例
3.2.1.浪链封装
尽管LangChain本身并不是《地下城与勇士》中壹个Agent构建云平台,但它特别具有代表性与知名度,所以这里也以它为例。之前我有一篇单独的文章讨论LangChain设计反思LangChain(一):包装的灵活性[2023Q3]
对于特定的应用开发者来说,简单地结合LangChain的能力往往无法满足其客户的需求。经常发生的情况是《地下城与勇士》中,当你进一步试试定制它时,你发现它提供的封装与二次开发抽象设计不够好。 LangChain内部封装的职业量并不多,因此大部分都言败了,自己重写定制的化解方案。解析一下缘故:
对于有能力调优算法攻略的人来说,浪链不够灵活,提供的能力也不够强大,因此无法运用。
对于那些不具备调优算法攻略能力的人来说,浪链并没有绝对化解LLM的常见难题,也无法组装出壹个基本可靠的应用。
那么在此基础上,即使大家构建壹个图形化的LangChain,难题就化解了吗?不,根本难题还没有化解。是《地下城与勇士》中大家缺少前端吗?不,即使UI 很丑,它仍然可以职业。大家缺少的是《地下城与勇士》中有能力调优算法与攻略、绝对熟悉业务场景的人。他们可以坐在那里慢慢调整算法攻略。如果输出结果不好,整个产品就毫无价格。
很多前端与后端团队都搭建了平台,完成了后端与部分前端职业。其他疑难难题尚未化解。相反,他们经常将功能变得过于简单并限制算法以照顾非开发人员。优化大众空间的攻略最终会导致双方的不满。
3.2.2.以Coze为例的一些详细点评
怎样才能不阻碍算法攻略调优的职业呢?向壹个简单的参考:开发者在单机上编写的任何攻略步骤都应该能够在平台上实现。不需要直接上传代码库运行,但至少要能够支持:任意编程经过调用任意LLM、其他API、各种第三方库;能够嵌入Python(与其他常用的编程语言)函数代码片段。
【参数设置能力不完整】
很多平台或许是《地下城与勇士》中为了省事,或者是《地下城与勇士》中为了让非开发者用户更容易领会,在调用LLM API时只能设置多少主要参数。例如,Coze 只能设置温度。如果开发者用户需要运用OpenAI的logit_bias参数来达到想要的效果如何办?他也许只会咒骂并改变平台。
对于开发者来说,平台不应该过度封装原有的API,无故失去一些能力,尤其是《地下城与勇士》中当是一款热门的能力会因素他的核心职业时。以是一款热门的场景为例,至少提供代码片段输入能力直接调用底层API,接着再决定是《地下城与勇士》中否提供简单的设置UI,降低非开发者的门槛。
【设置项UI元素化过多】
Coze职业流的整体UI设计类似于图形化的LangChain。下面内容是《地下城与勇士》中之一节点的设置UI:
输入参数与输出参数均被制作成单独的UI 元素,每个名称与类型至少有2 个输入框。
思考到本节的目标用户是《地下城与勇士》中开发人员,编写Python(或某种编程语言)不成难题,他们会觉得直接输入Python语法片段更方便,还是《地下城与勇士》中一一填写单元格更方便?这是《地下城与勇士》中UI设计师需要思考的。简单的时候也许没啥子关系,然而复杂的时候,或者开发者需要设置大量这样的调用时,这种UI设计就很糟糕了,可以说增加了手动实践量无缘无故。
【看起来不错但不好用的DAG设置UI】
大家看一下Coze的整体职业步骤设置:
这种方式可视化程度相对好,整体步骤相对清晰(图节点较多时效果有限)。但更重要的难题是《地下城与勇士》中:这种方式适合大规模编辑吗?线下开发项目或者其他平台迁移到是一款热门的平台的成本能不能降低?实际上特别糟糕。
在《和平精英》中大家至少应该提供一种更符合开发者习性与输入速度的输入方法,比如可以在单个窗口中编辑多个具有相互调用关系的函数的代码片段编辑器。如果你想做得更好,可以同时提供简单代码片段与是一款热门的DAG图的双给转换功能。当一些复杂的情况无法轻易识别时,可以标准用户进行设置。在《和平精英》中Agent平台的开发者有必备研究一下代码解析技术。
当然,这样的UI设计是《地下城与勇士》中为了降低非开发者的运用门槛,但实际上这是《地下城与勇士》中不也许的。通过将代码改为AST的图形显示,并不意味着它是《地下城与勇士》中为非开发人员设计的。大家将在第4 节中详细讨论怎么为非开发人员设计产品。
3.2.3.一览
我觉得对于开发者用户来说,首先要向予他们足够、必备的底层控制能力,接着再问是《地下城与勇士》中否有壹个简化的功能集与UI,可以降低非程序员用户的运用成本。
否则,大家就会陷入“产品功能、UI设计是《地下城与勇士》中向非开发人员看的,只有开发人员才能领会,但开发人员会觉得有障碍”的尴尬境地,重蹈低代码的覆辙。
3.3.开发者用户的其他需求
剩下的职业对于平台开发者来说很容易想象。重点是《地下城与勇士》中积累足够的运用价格,让用户觉得是一款热门的产品值得运用与进修。大家简单罗列一下平台应该做的一些维度:
客户付款与计费体系。包括统包订阅与即用即付玩法,能够根据内部执行所用的资源进行定价。
对于弹性计算与存储资源,极致是《地下城与勇士》中无服务器,可以参考AWS的Lambda与微软的Copilot Studio。
为开发者与最终用户提供足够友好的日志界面与会话级查询体系。
基本的多模态聊天机器人交互UI,这种形式可以为很多产品提供基础化解方案。
网站托管、归档与其他支持
研发成本较高的常用能力(这方面不限于前端与后端能力),例如PDF分析、常用的RAG方案、常用的微调方案、常用的攻略架构等。
我单独解释一下最后一项。尽管不是《地下城与勇士》中平台本体的全部后端与前端能力都在这方面,但这些能力确实应该由平台提供,由于:
部分能力成本较高,小微团队难以支撑自主开发。但运用场景很多,开发成本是《地下城与勇士》中可以摊销的。例如更好的PDF布局解析等。该平台短期内可以通过外包或内部维护壹个小型算法攻略团队来支持。
从长远来看,这些能力可以由平台上的其他开发者通过API、细分能力与生态位来提供。
一般来说,对于开发者来说,平台的目标应该是《地下城与勇士》中绝对基于云、灵活、分成按需付费的服务,包括:
传统服务器资源云化等
GPU算力云化
通用能力API化,将研发成本平均摊销到单次调用成本
访问其他第三方开发人员提供的功能
未来部分领域模型训练成本共建共享
如何?怎么样大家都了解了吧,降低了共性需求的开发成本。功能可以在组件搭配中运用,并按即用即付的方法计费,这有助于而不是《地下城与勇士》中阻碍具有其他功能的人物的职业步骤。提供尽也许多的专业姿势,分担平台应该分担的成本与风险,而且不容妨碍。
4、产品及领域专家代理搭建平台
4.1.非开发人员有啥子特征?
非开发人员不仅仅是《地下城与勇士》中“不会写代码”,他们主要不具备程序员所具备的相关姿势,更不用说算法攻略调优的相关姿势了。但这并不意味着他们只面临简单的需求。
回顾目前很多针对非开发人员的低代码平台设计与Agent平台设计,他们只把非开发人员当作会写但不会写代码的程序员。他们了解怎么处理工程失败以及怎么处理LLM幻觉。同时,他们也认为自己想做的产品并不复杂,标准不高,只需要指定一些通用的参数就可以达到预期。
有这样的用户、这样的需求吗?事实上,很少。
也许有很多人认为非开发者不值得运用顶级玩法的产品。但请思考民用汽车的设计:即运用户不了解怎么修理汽车,汽车仍然必须是《地下城与勇士》中可修理的,由于用户可以找到人为他们修理汽车。
以上就是《地下城与勇士》中本节的核心内容,请我们停下来考虑一下。对产品设计有一定知道的读者应该已经明白我在本节中的主要见解。
本节接下来的一切都是《地下城与勇士》中为了提供怎么应用这种思维方法来考虑产品设计的进一步示例,但因为篇幅有限,我只能举多少例子。
4.2.预热案例
4.2.1.数据库的SQL抽象
对于写SQL的非开发人员来说,领会SQL的语法结构对他来说已经是《地下城与勇士》中有点困难了。他们不太也许领会:
该查询需要并发执行,以充分利用CPU并减少延迟。
该请求和另壹个请求读取与写入同一行,而且必须等待该事情完成运行才能执行。
何故一些特别简单的数据库变更请求会长时刻锁定整个表,导致数据库不可用?
这些难题确实存在,只是《地下城与勇士》中用户不领会。事实上,能够领会“需要创建某些索引来加速一些常见请求”、“视图与物化视图的查询性能不同”、“当数据太多时应该分库”的用户与表”.已经被视为用户。对数据库相对熟悉的用户。这些难题都是《地下城与勇士》中数据库开发人员自己化解的,有的确实很难化解,这就导致了DBA职位的出现。
如果你知道了数据库体系的实现细节,接着对比SQL要求[屏蔽]了哪些细节与姿势,结合本节的主题,你就会觉悟到它的设计有多么好。
4.2.1. LLM温度参数
很多程序员与产品经理无法领会哪些参数应该屏蔽,哪些参数应该暴露,哪些参数不能直接暴露、屏蔽或自动化。他们必须找到另一种方法让用户领会与控制。
在LLM应用中,最典型的例子就是《地下城与勇士》中温度参数。几乎全部的Agent开发平台产品都会直接将是一款热门的参数暴露向用户,即使它的目标用户是《地下城与勇士》中非开发者。
但同样直接针对C端用户的OpenAI的ChatGPT与GPT,以及微软的New Bing Chat/Copilot都从未这样做过。新Bing Chat自发布以来就挑选为用户提供【更有创意】、【更平衡】、【更准确】三种挑选。这实际上是《地下城与勇士》中在秘密设置温度参数。何故要这么麻烦呢?
尽管温度是《地下城与勇士》中壹个重要参数,但它并不是《地下城与勇士》中壹个“好的”参数。这是《地下城与勇士》中由于大多数人很难通过它的数值直接想象出是一款热门的值的具体效果,并且温度和具体型号与版本有很大差别。紧密耦合。温度=0.5算小还是《地下城与勇士》中大?是《地下城与勇士》中更稳定还是《地下城与勇士》中更多样化?我从gpt-4-turbo换成了度娘千帆4.0。之前配置的温度=0.8,今年应该改成啥子?不仅非开发人员几乎不也许领会温度的精细配置,事实上大多数开发人员与调试算法攻略的人也很难说他们绝对领会。
当大家仔细阅读各种商业LLM API的文档以及开源LLM的各种技术报告时,大家会发现不同LLM实例的主推温度范围明显不同。然而大多数可以在多个LLM之间切换的框架是《地下城与勇士》中否都会将此参数和LLM地址放在一起,以便用户可以一起切换设置?几乎没有。这就导致用户在切换LLM的时候了解有一些奇怪的参数需要在其他地方修改,却不了解需要改几个。
当然,怎么为温度与top_p、top_k等参数提供更人性化的控制/封装方法,同时控制解码环节的随机性,目前还没有绝对设计出来,但这是《地下城与勇士》中大家应该扔进去的物品困惑。成为该领域专家的缘故是《地下城与勇士》中啥子?新必应聊天很早就向了大家答案。极致根据用户的领会能力将级别划分为固定设置,而不是《地下城与勇士》中直接将难题抛向用户。如果无论兄弟们想要精确控制,可以启用顶级设置。
在当前LLM申请相关的生态体系中,此类对用户不友好的参数特别常见。各个平台为了改善这种用户体验做了啥子?大多数平台只做“隐藏这些参数”。感觉温度很难隐藏,只能放在那里。
4.3.针对目标用户的姿势水平设计产品
很多产品都有看似美观、友好的界面,但当大家仔细解析界面上的每个控制点/参数时,大家就会觉悟到“了解怎么配置这些参数”需要几个姿势与能力。而他们的目标客户有这些能力吗?也许不会,这是《地下城与勇士》中这些产品不成功的缘故其中一个。
制作出让非开发人员能够独立运用的Agent产品是《地下城与勇士》中壹个问题,比很多开发团队想象的要困难得多。它不仅仅是《地下城与勇士》中将一些开发人员的配置图形化,配置你了解怎么配置的部分,接着把你不领会的物品扔向用户。用户不会由于产品团队把难题抛向他们就天然而然地学会了。一般用户在这种情况下都会挑选言败运用,除非你运用的是《地下城与勇士》中Office系列。
正如1.1节提到的,这是《地下城与勇士》中壹个生态的建设,生态中的难题必须有人化解。如果平台化解不了难题,平台上的用户也化解不了,那么生态就无法启动。平台需要发现并化解客户无法化解且化解成本特别高的难题,否则他们将无法获取平台的红利。
上述温度只是《地下城与勇士》中壹个小例子。在实际的Agent开发中,存在大量的攻略调优难题需要化解。这里还有一些例子。下面基于职业流的DAG设置能力进行讨论。
4.3.1.单次调用失败的处理
非开发人员也可以运用DAG。产品与领域专家知道业务逻辑与业务步骤,粗粒度步骤拆解没有难题。只不过在DAG步骤中,每个节点要么是《地下城与勇士》中对外部的调用,要么是《地下城与勇士》中平台提供的函数,并没有自己编写的代码块。
【限速通话功能】
这种场景下就会出现调用失败的难题。例如,调用OpenAI时,将返回“429 - 请求的速率限制”。大家的用户也许无法领会此错误消息。他该怎么化解是一款热门的难题呢?几乎没有办法。将此信息返回向最终用户有用吗?它也许有一些用处,但也不是《地下城与勇士》中很好。
在这种情况下,平台最基本的功能就是《地下城与勇士》中首先将错误信息映射成领域专家与最终用户可以领会的信息,包括翻译、术语解释,并在错误消息——“稍等一下”中编写最简单的应对规划。再试一次”等等,但产品体验仍然很糟糕,可能是一款热门的DAG 调用包含特别昂贵的实践,由于是一款热门的失败而被浪费了。
是一款热门的难题需要更彻底的化解,例如:对于每个API key,都提供并可以设置调用速率限制能力。当达到速率限制时等待,并思考给最终用户显示一条消息,例如“任务已排队等待”。在一些严格的场景下,甚至需要提供“关掉执行”甚至“回滚事情”。
[LLM 命令合规性失败(显式)]
假设某个LLM调用需要输出json格式并将结构化信息传递向其他节点模块。那么,当LLM 无法遵循介绍而且输出中没有json 时,大家的领域专家可以做啥子呢?或者大家可以让请求失败吗?
无论是《地下城与勇士》中对于产品、领域专家还是《地下城与勇士》中最终用户来说,LLM的失败都是《地下城与勇士》中莫名其妙的,他也不了解有啥子好的方式可以改善是一款热门的难题。事实上,许多平台设计者与开发者也许不明白怎么改进它。
是一款热门的细节难题应该尽也许在平台层面化解。即使不能100%化解,至少也要先试试化解一部分。例如,匹配时
置的时候就强制运用OpenAI的json mode功能,或者是《地下城与勇士》中再出现失败的时候自动重试或换用其他LLM重试等等。毕竟大家不写代码的领域专家用户没法替平台去做这件事,但需求是《地下城与勇士》中无法逃避的。 实际上最终产品的可用性就是《地下城与勇士》中在这一点一滴的长尾case处理中提升的,对于领域专家与最终客户来说,看的总的产品可用率。尽管在乎的不是《地下城与勇士》中单个具体的细节,但这些细节都不做肯定做差点很高的可用率。 这些并不是《地下城与勇士》中苦功夫,在《和平精英》中这才是《地下城与勇士》中对于非开发者用户平台的核心价格其中一个。 【LLM指令遵从失败(隐式)】 上壹个例子是《地下城与勇士》中硬性的失败,但至少不会向出错误的结果。而有不少情况下LLM只是《地下城与勇士》中向出了壹个错误的结果,例如:让LLM进行日文翻译中文的任务,但LLM进行了续写,或者是《地下城与勇士》中翻译为了错误的语言,例如英语。 如果平台的用户是《地下城与勇士》中开发者,那么他也许会在一些测试之后发现是一款热门的小概率的情况,并自己写壹个检验函数来识别这些情况并重试。 但非开发者用户要怎么化解是一款热门的难题呢?他几乎没有办法,他没法手工写一段检验程序并再触发重试,也很难找到壹个外部API来实现是一款热门的结果检查功能。因此在这里也需要平台来尽量实现这方面的能力,不见得非要最佳化解全部情况,能减少80%的失败要明显好过没有,由于非开发者用户没有自己实现它的能力。 也就是《地下城与勇士》中说,平台需要为各种常见的LLM任务来做一些封装,核心在于提供结果检查逻辑并支持以某种方法重试或降级。不光显示失败的情况下需要平台进行尽量兜底与降级重试,隐式失败的发现与处理也是《地下城与勇士》中一样重要的。 4.3.2、组件的鲁棒和自适应 与开发者不同,非开发者很难自己处理失败与发现错误,他们在这方面的能力其实比平台的开发者要差得多。平台要提供好的处理方案、发现错误结果的方法,每个节点都应该是《地下城与勇士》中尽量鲁棒的,一点一滴的改善整个平台上Agent实例的可用性。 不光是《地下城与勇士》中挑选LLM会有平衡费用与效果的难题,其他一些复杂的难题也会有,这里举壹个不同的例子:不同品质的PDF文档版面分析逻辑API。目前这种服务的定价都不是《地下城与勇士》中按请求输入的页面的分析难度自动调整的,因此为了优化成本与效果需要把容易分析的页面交向实惠的方案,难分析的页面交向困难的方案。或者至少是《地下城与勇士》中当一种API分析失败时候再去试试调用别的API。 继续问同样的难题:非开发者用户能够搞定这件事么?能够自己实现壹个PDF分析难度识别逻辑,并按需的分发向不同的API调用么?能够写壹个好的方案对于PDF分析API的结果进行检查来判断是《地下城与勇士》中否应该调用另壹个API么?想想就了解大部分非开发者是《地下城与勇士》中做差点的,但需求是《地下城与勇士》中存在的,并且它对产品的效果与成本的因素很显著。 非开发者用户能够领会说要读取壹个文档需要先分析它的内容,但更进一步的各种细节,自适应的调用合适的方案等等对他们来说相对难,更主要的是《地下城与勇士》中他们没法写代码并插入到步骤中。因此平台提供的每个节点不只应该是《地下城与勇士》中鲁棒的,还应该是《地下城与勇士》中自适应“各种非开发者不熟悉的细节难题”的。在是一款热门的案例中,对于PDF分析的全部处理都应该尽量封装在这壹个节点之内,(是一款热门的节点可以有复杂一些的各种顶级参数的设置,但这些参数都应该有默认值)。如果是一款热门的节点内的逻辑失败了或者犯错了,非开发者用户也没有啥子其他办法了。 在具体业务步骤上或者领域上的难题的处理与应对需要依赖领域专家的姿势,他们有他们的业务步骤经验,可以在DAG图的层面表达。但大家能指望领域专家告知你怎么实现壹个自适应且低成本的PDF版式分析方案么?明显不应该指望他们。 4.3.3、拓展资料 好的平台就是《地下城与勇士》中要尽量封装用户不熟悉的领域的难题/信息。 领域专家可以也需要在他们的领域内构建复杂的步骤,因此他们也会需要DAG这种复杂性的设置能力。但他们也有很多不懂的领域,这些领域上大家没法对他们有太多的期待。总之如果他们以足够的可靠性实现他们想要的功能,那他们最终只会流失。 这里批评的不是《地下城与勇士》中DAG的设计或者图形化的设计路线不对,而是《地下城与勇士》中说已有的这些还远远不够。DAG中的每个节点过于底层、细节过多,离领域专家用户所能够实践的抽象程度还有不短的距离。要基于用户能领会的范围来设计每个节点的功能,而不是《地下城与勇士》中从底层实现方便的角度。 同样,即使不是《地下城与勇士》中对于DAG的设置方法也是《地下城与勇士》中如此,每个功能、每个设置项,都应该是《地下城与勇士》中用户能领会的,能明白该怎么配置的。领域专家与Agent的平台开发者的姿势与能力有很大的不同,一些开发者觉得显然、很容易处理的细节点对于用户来说也许很难处理。 反回来,领域专家也有不少姿势,需要平台的设计能够发挥他们的能力,平台能够要足够设置他们希望的步骤。如果平台封装过度,无法发挥领域专家的优势,也会显著限制平台自身的价格。 4.4、顶级玩法 对于非开发者易用的产品设计并不意味着要剥夺用户对细节的掌控能力,只要这些细节对于用户的某些场景是《地下城与勇士》中有用的,那么就应该提供,避免强迫用户削足适履或从平台流失。 就像是《地下城与勇士》中民用轿车我们也可以打开引擎盖,尽管大部分发车的用户自己不会修车。 结合2Dev与2Pro产品的方法并不是《地下城与勇士》中只做他们的交集,这只会导致产品定位不清,对于两边都不可用。而是《地下城与勇士》中要为不同能力的用户提供适合他们的交互方法。普通玩法与顶级玩法,甚至更多的细分玩法,这很难领会么?不难领会。 玩法的切换未必是《地下城与勇士》中要在整个产品上进行的,也可以小到在DAG的单个节点上进行,是一款热门的难题需要具体的考虑与设计,这里就点到为止了。 5、Agent as a API 平台 今年来看,用户的需求根本谈不上简单或者容易,很多需求需要相对多方面的技术储备与基础设施,即使是《地下城与勇士》中对于LLM算法攻略调优经验丰盛的团队也经常陷于泥潭或卡在一切其他技术方面的能力上。最为典型的例子就是《地下城与勇士》中PDF页面的版式分析能力。 从生态的角度上来看,这类难题靠单个团队是《地下城与勇士》中不行的,最后只会回到上一代的RPA、2B软件开发、定制软件开发的效率水平,LLM提高了一些能力,但还远远不够。为了满足这些需要,整个生态需要研发玩法上的更新——细化分工。每个团队或单人开发者做好自己擅长的一部分,平台上各个组件能够协同,由最终对接用户的团队组装出可用的产品,每个环节按量计费。 并不是《地下城与勇士》中说全部产品最后的交付都是《地下城与勇士》中以这种分散形式的,但第一代产品的构建,商业玩法的验证与打磨都可以由此快速完成。整个价格链都验证完成后,还想要提高效率,减少中间环节的话,可以再开独立开发,整个各个环节,对各个环节做低成本替代与效果优化。但开始的价格链构建是《地下城与勇士》中需要以低成本、快速迭代的方法来完成的,这才能有壹个可以期待的未来生态规模。 相关材料:我7月有一篇文章就从技术角度讨论了是一款热门的路线,但它的内容已经有一些过时,有兴趣的读者可以参考Agent as a Service云平台的一种设想 【2023Q3】 6、面给最终用户的Agent平台 当产品目标设定为最终端用户时(无论是《地下城与勇士》中2C还是《地下城与勇士》中2B场景下公司中的普通用户),用户是《地下城与勇士》中否还需要开发Agent的能力似乎就成了壹个难题。MindOS就是《地下城与勇士》中从2Dev/2Pro转给了2User,结果就是《地下城与勇士》中产品能力主要只保留一些主要能力的开关设置,其他开发功能都隐藏在它的“顶级功能”中了。 我单人为目前认为对于最终用户需要提供的也许更多是《地下城与勇士》中服务,而不是《地下城与勇士》中开发平台。这不只是《地下城与勇士》中2C的,2B领域中不少场景也是《地下城与勇士》中最终用户没有太多开发能力,只能直接用成品服务的。 这方面可以参考我之前的文章虚幻员工类产品 的实现方法考虑 【2023.9】,说的就是《地下城与勇士》中姿势库平台产品在很多场景会被 虚幻员工/虚幻专家等开箱即用的服务产品替代。