Note: Chinese translation thanks to Xueyuan Jia and Xiaoqian Wu of the W3C. See the English version here. W3C Web 技术标准专家 François Daoust 和 Dominique Hazaël-Massieux（Dom）先前与我们探讨了如何使用 WebCodecs 和 Streams 进行实时视频处理。那篇文章重点介绍了如何设置流水线以应付来自摄像头、WebRTC 流或其他来源的视频帧低延迟处理。演示了一些处理示例 — 改变颜色、覆盖图像，甚至是改变视频编解码。引用的其他用例还包括机器学习处理，例如添加虚拟背景。 今天，他们将重点讨论可用于进行实际视频处理的诸多技术选项。有很多技术用来读取和更改视频帧内的像素。他们全面回顾了当前基于 Web 的所有技术选项 — JavaScript、WebAssembly （wasm）、WebGPU、WebGL、WebCodecs、Web 神经网络（WebNN）和 WebTransport。其中一些技术已经存在一段时间，许多则是新出现的。 这是一篇关于与视频分析与操作的文章。感谢 François 和 Dominique 与我们分享他们的研究，测试 Web 上可用的进行视频处理的完整技术目录。 正文内容 视频帧处理选项 使用 JavaScript 像素格式 性能 其他考虑 使用 WebAssembly 演示代码 […]
WebGL
Video Frame Processing on the Web – WebAssembly, WebGPU, WebGL, WebCodecs, WebNN, and WebTransport
There are a lot of options for reading and changing the pixels inside a video frame. In this post, W3C specialists François Daoust and Dominique Hazaël-Massieux (Dom) review every web-based option for processing video frames on the web available today – JavaScript, WebAssembly (wasm), WebGPU, WebGL, WebCodecs, Web Neural Networks (WebNN), and WebTransport.
Data Nerding with WebRTC GitHub Data
I was starting to work with a big dataset and was dreading the idea of bogging down my machine with MySQL or SQLServer, so I decided to give Google’s BigQuery a try. Before I got into my project, I was pleasantly surprised to a public GitHub dataset was readily available. Tsahi does a cursory analysis of WebRTC […]