瀑布频谱图 · 原理与代码
短时傅里叶变换(STFT):横轴频率、纵轴时间、颜色 = 能量。
运行逻辑
访问 `/audio/waterfall` 时,DemoHost 按 registry 的 `mod: 'kit-audio'` 懒加载 `demos/kits/kit-audio.js`,调用 `mount(host, { variant: 'waterfall' })`。 mount 把 variant 解析为家族 `waterfall`,`withControls` 生成控件面板(6 个预设 + 参数滑块)。 `createCanvasStage` 创建 `<canvas>`(HiDPI 上限 2×、ResizeObserver 自适应)和右侧信息面板。 家族的 `build(S)` 初始化本 demo 的状态并返回每帧回调。 每个 `requestAnimationFrame`:读取控件值,按速度缩放模拟时钟(dt 上限 50 ms),执行帧回调绘制;返回的读数写入信息面板。 指针按下/拖动/移动时更新交互状态(拖拽手柄、悬停读数);未触碰且开启「自动演示」时指针沿 Lissajous 路径自动移动。 右上角「声音」总开关打开时,经共享 AudioContext 实时发声;关闭时静音。 改变参数:颜色/速度/大小等即时生效,需要重建的参数触发重新挂载;离开页面时取消 rAF、移除监听并释放资源。
运行环境
Canvas 2D: 2D 画布绘图; requestAnimationFrame: 与屏幕刷新同步的动画循环; ResizeObserver: 画布随容器尺寸自适应; Pointer Events: 鼠标/触摸/触控笔统一事件; devicePixelRatio: HiDPI 清晰渲染(上限 2×) · react 18.3.1, react-router-dom 6.30.6, vite 5.4.21
引入的组件与依赖
react 18.3.1
引入的组件函数
withControls — 把演示包进统一控制面板(预设按钮、参数滑块、重置),参数变化时热更新或重挂载; paramsFromSpec — 把 spec(颜色/速度/大小/数量/额外参数)转换成控制面板参数定义; createCanvasStage — 共享 Canvas 2D 舞台:画布 + 信息面板、HiDPI、单一 rAF 循环、指针状态、自动演示指针; hexRgb — 颜色字符串 → [r, g, b]; clamp — 把数值限制在区间内; TAU — 常量 2π; fmt — 数字格式化(固定小数位); F — 公式块 HTML; S.clear — 用背景色清屏(可半透明做拖尾); S.onDown — 指针按下; S.onFrame — 注册每帧回调,返回值进入信息面板读数; ctx.drawImage() — 把图像/离屏画布绘制到画布上; ctx.strokeRect() — 描边矩形; ctx.beginPath() — 开始一条新路径; ctx.moveTo() — 移动画笔起点(不画线); ctx.arcTo() — 用切线画圆角弧; ctx.closePath() — 闭合当前子路径; ctx.fillText() — 绘制填充文字; ctx.measureText() — 测量文字宽度; ctx.fill() — 填充当前路径; ctx.stroke() — 描边当前路径; AudioContext.createBiquadFilter() — 创建二阶滤波器(低通/带通/高通); AudioContext.createBuffer() — 创建音频采样缓冲; AudioContext.createBufferSource() — 播放采样缓冲(鼓声/噪声)
本 demo 代码
frontend/src/demos/kits/kit-audio.js: FAM.waterfall (L593-L639)
代码解释
L595-595: 控件定义(颜色/速度/大小/数量/额外参数):高能颜色、对比度 γ、频率列数、历史行数、底噪门限 dB、对数频率轴。 L596-596: 预设按钮:名称 → 参数覆盖值(6 个:默认、密行、疏行、高对比、线性轴、只听音乐)。 L597-605: 信息面板内容:实时读数行 rows(v)、公式、说明、参数、步骤。 L606-638: 初始化函数:建立状态并返回每帧回调:用 Canvas 2D 的 `drawImage`, `strokeRect` 绘制;通过 `A.voices` 发声/取样;数学计算用到 `Math.round`, `Math.pow`, `Math.cos`, `Math.floor`;返回读数 `t`, `r`, `chord`, `cols`, `rows`, `ago`, `f` … 给信息面板。
原理
每一行 = 一次 FFT(某一时刻的频谱) 亮度 = ((L − 门限) / (0 − 门限))^γ 新的一行从顶部进入,旧的往下移 → 纵轴就是时间 柱状频谱只能看"此刻", 瀑布图 (也叫声谱图、语谱图)把每个时刻的频谱排成一行,一行行往下流,于是 横轴 = 频率、纵轴 = 时间、亮度 = 响度 ,一张图就能看到整段声音。 图里竖直的亮线是持续的音(和弦、贝斯),一格一格跳的是旋律,横向的亮条是鼓点(它们一瞬间覆盖很多频率),斜着划过的是 扫频音 (频率随时间变化)。语音识别、鸟叫分析都靠它。