音视频档案存储技术可靠性改进研究
时间：2022-09-30 20:20:06 来源：柠檬阅读网 本文已影响 人 
张楠 姜琳
声像档案是档案的一个重要组成部分，各级档案部门均存储着海量的声像档案，它们价值巨大、利用率高。然而随着科技进步，传统载体声像档案所依赖的存储载体、数据模式、传递方式逐渐落后乃至淘汰，档案管理的数字化程度正在不断提高。目前，各档案馆正在进行传统声像档案的数字化转存工作，形成大量音、视频数字化档案，与此同时，新媒体时代海量数字化音视频档案信息不断涌入，使得音视频档案的存储量从GB级、TB级到PB级激增。现代化档案管理中音视频档案的收集、压缩、海量固态存储技术及备份系统已经逐步开始在我国各级档案部门着手应用，但音像档案高质量数字化转存，以及数字化音视频安全稳定存储和传输，仍是档案管理工作中的重点和难点。
国内对音视频档案的研究则相对较晚。2010 年国家档案局颁发了《数字声像档案著录规则（征求意见稿）》，从国家层面开始对音视频档案进行规范化管理。2017年国家档案局出台了《录音录像档案数字化规范》《录音录像类电子档案元数据方案》，这两个文件规定了录音档案和录像档案数字化的技术和管理要求，为全国各级档案部门开展录音录像档案数字化工作提出了具体的要求。目前我国音视频档案的数字化实践一般均由地方发起和参与，一些代表性的实践成果与探索也均集中在地方性档案机构中，例如青岛市档案馆制定的《电子档案管理技术标准（试行）》，明确提出了视频档案应采用MPEG-2编码标准进行压缩，采集比特率为4Mb/s。
现代数字化档案管理中音视频存储器的形式多样，不同存储器可能产生的不同类型和原因的干扰，数字化过程中的热电现象也可能导致噪声干扰。本文基于纠错码原理，从存储器底层结构分析引起差错的根本原因，减少音视频在转换和存储的过程中受到各种类型噪声的干扰，对海量音视频档案数字化存储技术进行可靠性改進，对音视频档案数据提供可靠性编码保护，改善音视频档案的存储保管现状。
利用信息编码技术和档案数字化技术相结合的方式，将数字化处理后形成的海量音视频数字化信息进行编码存储和可靠性数据还原，对目前档案馆单纯地进行音视频档案数字化转换是有效补充和功能完善，实现海量音视频档案信息采集、安全存储、信息还原，使保存的信息更加可靠，极大提高数据还原率，并可在大容量、超大容量档案数据信息采集、存储、利用，档案数据异地备份及因突发故障或极端自然灾害等引发的档案数据损失还原方面发挥重要作用。
通过对音视频档案信息实测表明，数据传输过程中的突发错误以及海量存储芯片的软错误是对存储可靠性影响比较严重的因素。考虑到音视频档案数据对可靠性要求很高，同时档案数据存储和传输要求一定的保密性，基于此，确定研究的基本方案采用兼顾有效性和可靠性的RS-LT级联码作为主要编码方式，采用RS码（Reed-solomon Codes）作为外码，LT码（Lubu Transform Codes）作为内码。LT码是一种实用的数字喷泉码，也称为“无率码”，是一类基于图的线性纠删码。传统音视频档案信息经模数转化，一般还要进行数据压缩，转化为二进制数字信号进入编码器，我们设定好原始的数据包大小，编码器产生有效的任意数量编码包，接收端在足够时间的条件下收到足够数量的编码包用来译码，得到原始数据。如果把海量音视频档案信息比作一个数据“喷泉”，只要接收到满足数量的“水滴”，就可以恢复文件，可以应对大容量存储过程中的信道质量不稳定的问题，既能提高海量数据存储的可靠性，又充分节省存储空间。外码采用RS编码，可以通过提高系统纠错能力来进一步提高LT码的可译码概率，并提高系统恢复码元的实时性。同时LT码对信号的纠删处理，又相对提高了RS码的纠错能力。
音视频存储改进技术实现基于纠错码原理，从存储器底层结构分析引起存储数据错误的根本原因，对海量音视频档案数字化存储技术进行可靠性改进，研究原则是强调技术实用、软件功能实现，同时兼顾可扩展能力。
（一）工作原理
根据《录音录像档案数字化标准》规定，视频编码格式采用H.264、MPEG-2 IBP，音频文件格式采用WAVE格式。首先选定实验外码的编码设计指标：MPEG-2或H.264压缩格式的视频档案数据，JPEG图像采用RS（255，223）；
无压缩的音频档案数据和高压缩率的音频档案数据分别采用RS（48，32）和RS（32，16）。内码的编码较简单，依据相应的公式生成度分布，将不同的数据包求异或和，生成编码包。
音视频档案信息通过转换、信息采集、压缩等处理后进入编码通道，分别进行两级级联编码，编码完成后可安全存储，回放时重新通过接口匹配，然后进行解码，完成对音视频档案数据可靠性改进存储与还原。音视频档案数据还原时通过LT译码器和RS译码器进行译码，实现数据还原和信息回放。
（二）音视频信息编译码单元的设计实现
音视频档案存储改进方案采用RS-LT级联编码。首先定义缓存区，读取数据并按照存储信息码字及中间结果所需的缓存大小进行存储，编码单元进行LT码编码后的编码包进入RS编码流程，以信息块为单位进行数据的编码，占位标志busy有效，表示正在进行编码数据处理，发送结束之后撤销占位标识。这里LT码是实现难点，编码过程有三个步骤：首先确定度分布函数；
然后采用均匀分布来随机选取度值d，最后将d个不同的数据包进行异或，得到编码分组，不断重复上面的步骤，就可以得到无限多个编码分组。RS码是一种非常成熟的纠错码，编码主要的步骤就是求出有限域中的余式，这里不再做具体描述。
LT码译码采用Belief Propagation算法迭代译码。度分布函数的选择对LT译码质量至关重要，本文采用Robust Soliton分布。首先根据收集到的编码符号找到d=1 的输出，调用BP 算法，不同节点信息进行迭代实现译码；
循环判断，将度值为1的编码包地址送给译码模块进行译码，若遍历完成未找到度值为1的编码包则中止，重复遍历迭代。RS译码器采用Bjorck-Pereyra算法来实现系数矩阵为范德蒙矩阵的线性方程组的快速算法，运用以范德蒙矩阵为系数阵的线性方程组的快速算法，可以减少求解过程中的运算量，大大提高译码效率。数据接收完毕之后，以信息块为单位，在余数对优选的基础上进行外部RS译码。译码结束之后撤销占位标识，完成数传终端设备译码通道处理。
在全面加快档案数字化进程的背景下，声像档案的数字化最为复杂多样，难度最大，是档案管理发展的短板。目前国内档案管理的软硬件环境参差不齐，在音视频档案数字化过程中受干扰影响、可靠长期保存及应对突发故障干扰方面存在理论和技术难题，通过可靠性改进将信息编码技术与档案工作深度融合，在信号采集过程中，大大降低突发干扰对采集效果的影响，采用软件编译码方法，可以有效降低误码率，增强数据存储的抗干扰能力，将海量音视频档案信息进行高效编码存储和可靠性数据还原，是解决音视频档案长期可靠保存的良好途径。“互联网+”时代开放共享档案信息资源成为加强档案机构自身建设的重要工作内容，档案机构的服务创新、档案信息资源的深度开发利用也将产生更广泛区域间的档案信息交流。音视频档案存储技术的可靠性改进研究能够提高信息传输的可靠性，并且具备很好的保密性能，在未来智慧档案管理中有广泛的应用前景。
作者单位：青岛大学档案馆
基金项目：本文系2019年度山东省档案科技项目“海量音视频档案存储技术可靠性改进研究”（项目编号：2019-17）的研究成果。
猜你喜欢 音视频海量编码 住院病案首页ICD编码质量在DRG付费中的应用中国典型病例大全(2022年7期)2022-04-22聚焦“5G+音视频”融合发展 2019中国音视频产业大会深圳举办综艺报(2019年22期)2019-12-27广电总局等三部门联合发布 《网络音视频信息服务管理规定》综艺报(2019年23期)2019-12-25国家互联网信息办公室等三部门规范网络音视频信息服务中国广播(2019年12期)2019-02-02青云QingCloud推出音视频转码服务中国信息化周报(2018年43期)2018-01-22高效视频编码帧内快速深度决策算法计算机应用(2016年10期)2017-05-12一个图形所蕴含的“海量”巧题中学数学杂志(初中版)(2016年5期)2016-11-01从教材中突围，走课内海量阅读之路陕西教育·教学(2016年6期)2016-07-20Hadoop构建的银行海量数据存储系统研究哈尔滨理工大学学报(2015年4期)2015-12-31吃饭谁买单民间文学(2014年3期)2014-06-20
