Open Platform for Enterprise AI (OPEA)是一个由Intel发起并捐赠至 Linux Foundation AI & Data 基金会的开放生态系统编排框架,旨在集成高效的生成式人工智能(GenAI)技术和工作流程,帮助企业更快地采用人工智能并实现业务价值。
根据OPEA负责人,Intel开源生态负责人Arun Gupta描述,OPEA的出现主要是为了简化目前GenAI领域的复杂的技术栈和多种多样的软件选择,为开发者和用户提供多个领域GenAI应用的端到端解决方案,让用户和开发者可以用一条简单的命令就能在多平台上快速运行GenAI应用。
OPEA Governmental Overview
OPEA 由Intel于2024年4月15日发布并在4月16日宣布加入LF AI&DATA进行运作,目前有超过38家企业宣布加入OPEA,包括Intel、Qdrant、Red Hat、Yellowbrick Data、Cloudera、Zilliz、Broadcom、deepset、Haystack等。2024年10月14日发布OPEA 1.0版本,提供16个端到端GenAI应用案例,OPEA目前重点关注引入了RAG技术的大模型应用。
OPEA目前成立了一个委员会:Technical Sterring Committee和4个工作组:Security Working Group、Community and Communications Working Group、Developer Experience Working Group和Evaluation Working Group。其中TSC双周举行会议,各工作组月度举行例会,具体会议时间参考OPEA Meeting Clendar。
Technical Steering Committee (TSC)
OPEA TSC负责OPEA项目整体的技术发展方向,包括并不限于:技术决策、成立工作组、社区间技术合作、流程评审和改进、技术营销等。目前OPEA TSC包括来自九家企业的10位TSC代表:
| TSC Member Name | Member’s title and company name |
|---|---|
| Malini Bhandaru (Chair) | Senior Principal Engineer, Intel |
| Amr Abdelhalem | SVP, Head of Cloud Platforms, Fidelity |
| Nathan Cartwright | Chief Architect - AI, CDW |
| Justin Cormack | CTO, Docker |
| Ke Ding | Senior Prinicipal AI Engineer, Intel |
| Steve Grubb | Senior Principal Engineer, Red Hat |
| Robert Hafner | Senior Principal Architect, Comcast |
| Melissa Mckay | Head of Developer Relations, JFrog |
| Logan Markewich | Founding Software Developer, LlamaIndex |
| Nick Ni | Senior Director AI Product Management, AMD |
OPEA Technical Insight
根据OPEA官方定义和规划,OPEA目前包含以下几个主要功能:
覆盖大语言模型(LLMs)、数据存储和提示引擎在内的最先进生成式人工智能(GenAI)系统的可组合构建模块的参考框架和软件组合。
端到端可复现的检索增强型生成式人工智能(RAG)组件堆栈结构和工作流程的架构蓝图。
多个
Micro-Service和Mega-Service帮助用户快速构建和部署生成式AI应用。四步评估工具,可用于对生成式人工智能系统在性能、功能、可信度和企业级应用就绪度方面进行评分。
Microservice:
OPEA的最小组成单元是微服务(Microservice),每一个微服务承担一个独立的功能,通过模块化的微服务组件,可以为用户和开发者提供更灵活、易扩展的功能选择,同时也能更容易的按需组成自己所需的AI应用。如vllm-endpoint, start-microservice-with-python, feedback-with-mongodb等,具体可参考GenAI Compomnents
Megaservice
Megaserice对外提供完整和独立的功能,通常包含一个或多个Microservice并对它们进行调度和管理。Megaservice通常包含较为复杂的业务逻辑和工作流,通过协调各Microservice的相互协调来完成特定的应用诉求。在保证了功能的完整性的前提下,仍保留了一定的可扩展性和灵活性。如ChatQnA, CodeGen, FaqGen等,具体可参考GenAI Examples
Gateways
Gateway作为用户访问Megaservice的接口,根据用户需求提供定制化的访问。它作为传入请求的入口点,将它们路由到巨服务架构中的适当微服务。Gateway支持API定义、API版本控制、速率限制和请求转换等能力,允许对用户与底层微服务的交互进行细粒度控制