声音地图：元素解析与符号化方法研究

1. 引言

1.1 声音地图理论

从物理学的角度来讲，声音是能够引起听觉感知的声波现象；从"人-地"关系的角度来看，声音则有多重含义：首先，声音是环境因子。燕语莺声、虫鸣蝉叫反映的是生物多样性。随着物质生活水平的日益提高，人们开始关注声、光、电磁等人居环境，轰鸣的汽笛、刺耳的电机声等是当前污染城市声音环境的主要因子。

其次，声音是文化载体。街巷里抑扬顿挫的叫卖声、庙会上此起彼伏的吆喝声代表的是城市印象、历史记忆。"醉里吴音相媚好"-方言与戏曲更是文化遗产、城市名片。再次，声音还是城市景观。音乐广场、声音喷泉等是现代城市设计的重要景观元素。

1.2 典型声音地图

近年来，国内外出现了大量声音地图。从制图主题来看，噪音地图是当前应用最为广泛的一类声音地图；主要围绕噪音的声源、传播，以及声压级等属性进行可视化。

1.3 问题分析

综合来看，如图2所示，声音地图是一个多学科交叉的领域。物理声学（Acoustics）主要关注声波的各类属性，如声强、声压、响度、频率等，研究声音的产生、传播、吸收、反射等；其对声音的可视化主要应用于场馆、舞台等的声效模拟。

心理声学（Psychoacoustics）注重人对声音的生理与心理反应，如悠长、短促等声音体验，以及愉悦、悲伤等声音情感等；康定斯基等艺术家利用试听联觉特征，通过线条和颜色来呈现声音。地理信息科学则关注人与声音环境的关系，如声音景观、声音的空间分布等，较为常见的是城市噪音模拟。

声音地图不应该仅局限于噪声，而应该关注丰富的声音景观，以期实现对声音的趋利避害；除了记录声音数据的制图目的，声音地图还可以服务于声音环境评价。在此目的下，声音制图的重点不是描述声音的物理指标，而是要表达人对声音环境的听觉体验与情感。

2. 声音数据分析与符号化方法

不同于现有声音地图，本文方法不侧重对声源数据进行统计性描述，而是强调人对声音环境的认知与体验。本文综合默里·谢弗（Murray Schafer）的声音景观理论和凯文·林奇(Kevin Lynch)的城市印象理论来梳理声音地图的构成元素。

2.1 声音属性分析

声音属性分析主要包括：①前背景分离；②属性提取。目前，基于神经网络的声音信号分离方法表现出良好的性能和适用性，比较典型的是Stoller等提出的音频数据分离方法：Wave-U-Net。该方法在语义分割网络的基础上加入声音信号的多尺度时域特征分析，实现了声音信号的前景和背景分离，具有一定的通用性。

(1) 声音类型

采用Aiello的声音层次分类体系，将声音分为2个等级，一级分类包括交通、自然、人类、机械和音乐5类，二级分类包含其中典型的类型，如交通类声音包含机动车和非机动车声音；自然包括风声、虫鸣、鸟鸣等；人类声包括谈话声、行走的脚步声等。

(2) 声压级和频率

声压级是对声音强度的度量，频率是指每秒的振动次数，它们均对声音的听觉感受有重要的影响。本文使用Picaut等提出的NoiseCapture众包声音数据处理算法进行声音频率和声压级的提取。

(3) 声音情感

Kallinen证明人在聆听环境声音时会引起2种情感：感知情感和诱发情感。感知情感是指声音本身传达的情感，更加客观；诱发情感是声音使听众引起的情绪反应，更为主观。比如开心的音乐并不一定让听众产生开心的情绪。因此更关注声音客观的感知情感。

2.2 声音地图元素解析

本文将具有位置标签的声音数据分为固定点声音和声音轨迹2大类型，本文从固定点声音数据中解析出声音标志、声音区域和声音背景3类声音地图元素，从声音轨迹中提取声音路径元素。

2.3 声音符号化方法

不同于传统地图上的视觉地物，声音通过听觉被人所感知，需要统筹考虑声音的听觉感知和声音符号的视觉感知。另一方面，如前文所述，关注的声音地图不是以统计描述为主，而是强调声音的听觉与情感体验，涉及到多种物理、心理变量，比如声压级、频率、情感等。引入联觉的概念进行多变量声音地图符号设计。

3. 声音制图实验

3.1 数据收集与处理

本文以南京仙林大学城为实验区进行声音制图实验，研究区域如图10所示。该地区包括商业区、文教区、居民区等，还包括建筑工地、音乐喷泉等，声音类型丰富，具有一定的典型性。

3.2 结果展示与分析

采用本文第二章介绍的技术路线，对固定点声音、声音轨迹数据进行了声音属性分析，提取了4类声音地图元素。

3.3 符号可用性实验

通过用户评价实验对比本文提出的基于视听联觉的声音点符号与象形点符号进行可用性对比分析。

4. 结论

声音地图涉及到物理声学、心理声学、地理信息科学，不仅要关注声音的位置和物理属性，还需要关注人对声音环境的体验与情感。本文探索了一种利用具有位置标签的声音数据进行声音制图的方法，主要贡献包括：

1. 综合声音景观理论和城市印象理论，梳理出声音地图的4类构成元素：声音标志、声音路径、声音区域和背景声音；组合使用深度学习、空间分析等技术，探索了从具有位置标签信息的声音数据中解析上述4类元素，提取声音类型、声压级、频率、情感等属性的技术方法。
2. 针对当前声音地图的表达形式比较单一、缺少对多元声音属性进行综合表达的方法的问题，结合联觉概念，设计了一组多变量声音符号，给出了声音颜色双变量表示方法。
3. 采用所提出的理论和方法，结合典型试验区进行了声音制图实验，基于所实现的声音地图，进行了声音环境分析。设计了与象形符号的认知对比实验，表明本文提出的符号设计方法具有一定的认知优势。

本文所提出的方法有望扩展声音数据的分析手段、丰富声音的符号化方法，但是，从3.2章节的实验结果来看，声音的前背景分离、声音情绪提取等算法尚存在精度不高的问题。后续将继续关注声学、计算机科学等领域的研究成果，进一步完善从具有位置标签信息的声音数据中提取4类声音元素的技术路线，以制作高精度、高可用性的声音地图。