谷歌AR工具Google Lens登陆全球Google Go市场,带来更好的理解能力( 二 )

谷歌在一篇博文中指出,为了支持所述的读写功能,Google Go版本的Lens需要在一系列的设备中捕获高质量的文本,然后识别文本,理解其结构,翻译并进行叠加,最后再诵读出来。

1. 图像捕获

入门级设备的图像捕获相当具有挑战性,因为你需要兼容一系列不同的设备,而它们大多数都不具备旗舰机的性能。为了构建一个能够以最小延迟可靠捕获高质量图像的通用工具,谷歌将Google Go中的Lens变成了一个全新Android支持库的早期采用者:CameraX。包含在Jetpack(一套针对Android开发者的库,工具和指南)的CameraX是Android Camera2 API的抽象层,可解决设备兼容性问题,所以开发者无需编写自己的设备专用代码。

为了平衡捕获延迟和性能影响,谷歌利用CameraX实现了两种捕获策略。对于高端手机,它们足以提供恒定的高分辨率帧,所以系统能够瞬间完成捕获。对于相对低端的设备,由于CPU性能有限,流式传输所述帧可能会导致摄像头滞后,所以谷歌是在用户点击捕获时处理帧,并生成单个按需高分辨率图像。

2. 文本识别

推荐阅读