Halio.ai 简介
虽然 NVIDIA 目前统治了AI计算的绝大多数市场，但是仍然有很多公司试图从不同的角度切入并争取成为当前生成式AI乃至未来AGI的翘楚。以色列公司 halio.ai 以其新型的边缘计算AI加速芯片，正在尝试开拓新的AI领域。
备注
我是在研究 树莓派Raspberry Pi 5 的使用时发现树莓派可以使用 halio.ai 公司的 Hailo-8L M.2 AI加速模块 ，淘宝售价 575元 (13TOPS) 。另外一款26TOPS的 Hailo-8 M.2 AI加速模块 则售价翻倍，高达 1299元 。
通过 PCIe 转 M.2 转接板，使用树莓派AI Kit可以构建边缘设备的AI视觉应用，具有低延迟和低功耗的实时运行特性，特别适合对象检测、语义和实例分割、姿势估计和面部标志等神经网络应用，从而解放 树莓派Raspberry Pi 5 的CPU资源用于其他任务:
每秒 13 万亿次运算 (TOPS) 的推理性能
以 8Gbps 运行的单通道 PCIe 3.0 连接
与 Raspberry Pi 图像软件子系统完全集成
与第一方或第三方相机的兼容性
加速器硬件的高效调度：在单个摄像头上运行多个神经网络，或者同时在两个摄像头上运行单个 / 多个神经网络
Hailo 创建了一个庞大的模型库，用户可以在其中找到各种预训练的神经网络模型，这些模型可随时部署和优化，以便在 AI Kit 上运行。
Hailo-10H M.2 生成式AI加速模块
目前(2024年9月)在淘宝上能够买到的是 Hailo-8 (26TOPS) 和 Hailo-8L (13TOPS)，是 halio.ai 上一代产品。不过，根据 halio.ai 官方在2024年第二季度发布的新产品 Hailo-10H M.2 生成式AI加速模块 ，则达到了 40TOPS 性能。 Hailo-10 是 Hailo公司为边缘计算引入的生成式AI设备，也是目前大热的 GPT 技术中具有前景的方向。(例如，苹果公司在iPhone 16开始引入手机移动端本地生成式AI，未来会在这个赛道上投入巨大资源)
Hailo-10H M.2
Hailo-10 是不需要云网络的本地GenAI设备，可见的应用前景有:
实时翻译
摘要服务
文生图/文生视频 (或相反)
Hailo-10 的亮点是性价比和性能功耗，该款芯片可以在不倒5W的功率下以每秒10个token的速度运行 Llama2-7B ，当与 Stable Diffusion 2.1 配合使用，生成图像不倒5秒钟(消耗功率几乎相同)。
备注
Nvidia的Jetson系列模块可以处理边缘AI，性能高达275TOPS(但功耗增加)。Nvidia针对入门级边缘AI应用推出的 Jetson Nano 可提供高达40TOPS的AI性能，功率选项在5W到15W之间。