Ling：AI 流式结构化输出解决方案@月影_FEDAY2024

FEDAY 2024 于 12 月 7 日在厦门成功举办。 在 AI 内容生成工作流中，使用结构化的 JSON 作为输入输出有非常多的便利性，因为 JSON 自带有意义的结构和语义化的字段名，能够让 AI 天然非常好地理解工作内容，大大节省提示词，同时因为 JSON 的扩展性增加工作流的扩展能力。 但是 JSON 结构也有弊端，因为 JSON 是一种封闭的数据结构，具有完整的结构，从 { 开始到 } 结尾，正常情况下只有完整生成全部内容， JSON 结构才能完整并被解析。这带来一个问题，就是追求快速响应的一些场景里，JSON 数据协议和流式输出是冲突的，虽然流式输出能减少接收到数据的时间，但是因为流式输出过程中 JSON 结构不完整，导致前端很难立即使用这些输入，这就造成了流式输入的优势丧失。 AI 流式响应框架 Ling ( https://ling.bearbobo.com）就是专注于这个问题，提供一种流式输出 JSON 结构的解决方案，它的核心是一个实时解析 JSON Token 的解析器，将实时解析的内容立即以 Stream 的方式，用 JSONURI 的数据协议格式发送给前端处理，而且默认支持 Server Sent Events，让前端能够非常方便地立即接收并更新结构化数据。