Google Al Edge Gallery-支持离线运行AI模型无需联网即可使用

Google Al Edge Gallery是谷歌推出的实验性工具，支持让用户在本地设备上体验和使用机器学习(ML)及生成式人工智能(GenAI)模型。而且无需联网即可使用。用户能切换不同模型，进行图像问答、文本生成、多轮对话等操作，实时查看性能指标。应用支持自带模型测试，为开发者提供丰富的资源和工具，助力探索设备端AI的强大功能。

Google Al Edge Gallery的主要功能

本地离线运行:无需互联网连接，所有处理都在设备上完成。

选择模型:轻松切换Hugging Face上的不同模型，比较它们的性能。

图像问答:上传图像进行提问，获取描述、解决问题或识别物体。

提示词实验室:总结、改写、生成代码或使用自由形式的提示词探索单轮对话的LLM用例。中AI聊天:进行多轮对话。

性能洞察:实时基准测试(首次响应时间、解码速度、延迟)。
自带模型:测试本地LiteRT .task 模型。
开发者资源:快速链接到模型卡和源代码。

Google Al Edge Galery的技术原理

Google Al Edge:Google AlEdge 是设备端机器学习的核心框架，提供一系列API和工具，在移动设备上高效运行机器学习模型。

LLM Inference AP1:
支持设备端大型语言模型(LLM)推理的接口。支持应用在本地设备上运行复杂的语言模型，如 GPT 或其他基于Transformer架构的模型，无需依赖云端服务。
Hugging Face 集成:
集成 Hugging Face 的模型库，用户能轻松地发现和下载各种预训练模型。Hugging Face 提供丰富的模型资源，涵盖从自然语言处理到计算机视觉等多个领域。基于集成，用户直接在 Gallery 中使用模型，无需手动下载和配置。

Google Al Edge Gallery的应用场景

个人娱乐与创意:

用户上传图片进行问答、生成创意文本或与AI进行多轮对话，满足娱乐和创意需求。

教育与学习:

作为语言学习、科学实验辅助和编程教育工具，提升学习效果。

专业开发与研究:

开发者测试优化模型、快速搭建原型比较不同模型性能，助力开发流程。
企业与商业:

企业开发本地化客户支持工具，技术人员在无网环境下解决问题，同时保障数据隐私。

日常生活:

辅助旅行规划、控制智能家居和获取健康建议，提升生活便利性。

Google Al Edge Gallery的项目地址

地址：https://github.com/google-ai-edge/gallery