此系列是为了记录自己学习VTM10.0的过程和锻炼表达能力，主要是从解码端进行入手。由于本人水平有限，出现的错误恳请大家指正，欢迎与大家一起交流进步。

1.初始化

int poc;//picture order count PicList* pcListPic = NULL;//存有图片的线性表 ifstream bitstreamFile(m_bitstreamFileName.c_str(), ifstream::in | ifstream::binary);//c_str()将string类型转换为c语言的字符串，in代表输入，binary代表为二进制模式。创建一个文件输入比特流。 InputByteStream bytestream(bitstreamFile);//将比特流转为字节流 // 创建解码器类 xCreateDecLib(); //舍弃RAP的前置图像中为RASL，更新the last displayed POC？ m_iPOCLastDisplay += m_iSkipFrame; // set the last displayed POC correctly for skip forward. bool loopFiltered[MAX_VPS_LAYERS] = { false };//标记是否已进行环路滤波 bool bPicSkipped = false;//表示是否跳过解码图像 bool isEosPresentInPu = false;//表示前一个NALU所在的PU是否是Eos

poc：帧的播放顺序

pcListPic：存放着解码出来的帧

bitstreamFile和bytestream：解码端的输入码流，一个是以比特为单位，另一个是以字节为单位

xCreateDecLib()：函数包含着解码器类的创建和初始化，存在ROM上变量的初始化，量化和变换相关的初始化

m_iPOCLastDisplay += m_iSkipFrame ：不确定

loopFiltered：标记是否已经环路滤波

bPicSkipped：是否跳过解码上一个NALU所在的图像

isEosPresentInPu：判断前一个NALU是否是EOS

2.循环进行NALU解码

while (!!bitstreamFile) { //创建NALU类 InputNALUnit nalu; nalu.m_nalUnitType = NAL_UNIT_INVALID; bool bNewPicture = m_cDecLib.isNewPicture(&bitstreamFile, &bytestream);//将要解码的NALU是否是图像中的第一个NALU bool bNewAccessUnit = bNewPicture && m_cDecLib.isNewAccessUnit( bNewPicture, &bitstreamFile, &bytestream );//将要解码的NALU是否是新的一帧中的第一个NALU，同时也是新的AU中的第一个NALU if(!bNewPicture) {//分支1 } if ((bNewPicture || !bitstreamFile || nalu.m_nalUnitType == NAL_UNIT_EOS) && !m_cDecLib.getFirstSliceInSequence(nalu.m_nuhLayerId) && !bPicSkipped) {//分支2 //满足不是跳过解码的图像，同时满足不是sequence中的第一个slice，同时满足以下至少一个条件：1)将要解码的NALU是图像中的第一个NALU；2）比特流文件eof？；3）上一个NALU的类型是EOS } else if ( (bNewPicture || !bitstreamFile || nalu.m_nalUnitType == NAL_UNIT_EOS ) && m_cDecLib.getFirstSliceInSequence(nalu.m_nuhLayerId))//在下一个NALU所在的slice将是sequence中的第一个slice的情况下，同时满足以下至少一个条件：1)将要解码的NALU是图像中的第一个NALU； { //2）比特流文件eof？；3）上一个NALU的类型是EOS。则下一个NALU所在的slice也是picture中的第一个slice。 m_cDecLib.setFirstSliceInPicture (true); } if( pcListPic ) {//分支3 } if( bNewPicture ) { } if (bNewPicture || !bitstreamFile || nalu.m_nalUnitType == NAL_UNIT_EOS) { } if (bNewAccessUnit || !bitstreamFile) { } if(bNewAccessUnit) { } }

进入循环只要bitstreamFile有效，就进行NALU解码

这里有两个重要的flag，bNewPicture和bNewAccessUnit

bNewPicture：将要解码的NALU是否是一帧中的第一个NALU

bNewAccessUnit：将要解码的NALU是否是AU中第一个NALU

bNewPicture为false进入第一个分支，具体参考2.1节

本节分支2：满足以下条件之一

要解码的NALU是一帧中的第一个NALU

eof

上一个NALU的类型是EOS

如果同时满足目前的解码过程不处于CLVS中的第一个slice且上一个NALU所处的帧未被跳过解码则进行一些操作，具体参考2.2节

如果同时满足目前的解码过程处于CLVS中的第一个slice则标志着解码过程进入一帧中的第一个slice。

说明：m_cDecLib.setFirstSliceInPicture (true)会使bNewPicture判断为False

本节分支3：存储的帧不为空，则进行一些操作，具体参考2.3节

之后还有四个分支和之前两个flag有关，由于能力有限就不展开了

2.1 if(!bNewPicture)

只要解码的NALU不是一帧中的第一个NALU就可进入此分支

AnnexBStats stats = AnnexBStats();//JVET-S2001中AnnexB有关的信息 // 将字节流的下一个NALU的所有比特流信息存入NALU类中的m_Bitstream的m_fifo，将统计信息存入stats，具体过程可以参考JVET-S2001中的AnnexB byteStreamNALUnit(bytestream, nalu.getBitstream().getFifo(), stats); // 读取NALU头信息，参考JVET-S2001 7.3.1.2 P83 read(nalu); // 判断是否是IDR图像中的第一个slice if(m_cDecLib.getFirstSliceInPicture() &&//是否是图片中的第一个slice，在解码器类初始化时设置为true (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_IDR_W_RADL || nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_IDR_N_LP)) {//分支1 m_newCLVS[nalu.m_nuhLayerId] = true; // m_newCLVS标记是否是一个新的CLVS xFlushOutput(pcListPic, nalu.m_nuhLayerId);//将pcListPic中存有的图片清空，并写入文件 } if (m_cDecLib.getFirstSliceInPicture() && nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_CRA && isEosPresentInPu) {//分支2 // 在EOS后面紧接着的CRA图像是CLVSS m_newCLVS[nalu.m_nuhLayerId] = true; } else if (m_cDecLib.getFirstSliceInPicture() && nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_CRA && !isEosPresentInPu) { // 如果CRA图像前面不是EOS，那CRA图像就不是CLVSS m_newCLVS[nalu.m_nuhLayerId] = false; } // temporal_id应该小于cfg中的m_iMaxTemporalLayer，同时nuh_layer_id应该在cfg的m_targetDecLayerIdSet中 if( ( m_iMaxTemporalLayer < 0 || nalu.m_temporalId <= m_iMaxTemporalLayer ) && xIsNaluWithinTargetDecLayerIdSet( &nalu ) ) {//分支3 } else//不满足条件，跳过解码此图像 { bPicSkipped = true; } if (nalu.m_nalUnitType == NAL_UNIT_EOS) {//分支4 isEosPresentInPu = true;//当NALU的类型为EOS，将isEosPresentInPu设置为true m_newCLVS[nalu.m_nuhLayerId] = true; //The presence of EOS means that the next picture is the beginning of new CLVS }

byteStreamNALUnit()：主要是将字节流掐头去尾，详细过程参考JVET-S2001中AnnexB一章，这里不再展开

read():读取NALU的头信息，相应格式在JVET-S2001 7.3.1.2 P83

本小节分支1：判断是否进入IDR图像中的第一个slice解码过程中，主要是由解码器类来决定。如果是则意味着进入新的CLVS，并将之前缓存的帧清除

本小节分支2：只有当前一个NALU是EOS(end of sequence)时，当前CRA图像才意味着进入新的CLVS

本小节分支3：是整个函数中最重要的分支，包含调用解码器类解码的过程。但是需要满足NALU的时域层在输出范围内，多图像层也在输出范围内。不满足就跳过解码。具体参考2.1.1节

本小节分支4：当前解码NALU为EOS类型时，就将isEosPresentInPu设置为true。并意味着下一个NALU就是CLVS的开始

2.1.1 分支3

if (bPicSkipped) { if ((nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_TRAIL) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_STSA) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_RASL) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_RADL) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_IDR_W_RADL) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_IDR_N_LP) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_CRA) || (nalu.m_nalUnitType == NAL_UNIT_CODED_SLICE_GDR)) {//满足前一个NALU所在的图像是被跳过解码的，且当前NALU的nal_unit_type属于VCL（除去保留的） //分支1 if (m_cDecLib.isSliceNaluFirstInAU(true, nalu))//图片中的第一个VCL类型的NALU是否是AU中的第一个VCL类型的NALU { //清除一些AU相关的缓存信息 m_cDecLib.resetAccessUnitNals(); m_cDecLib.resetAccessUnitApsNals(); m_cDecLib.resetAccessUnitPicInfo(); } bPicSkipped = false; } } m_cDecLib.decode(nalu, m_iSkipFrame, m_iPOCLastDisplay, m_targetOlsIdx);//调用解码器类进行解码NALU if (nalu.m_nalUnitType == NAL_UNIT_VPS)//如果NALU类型是VPS，则提取一些信息 {//分支2 m_cDecLib.deriveTargetOutputLayerSet( m_targetOlsIdx ); m_targetDecLayerIdSet = m_cDecLib.getVPS()->m_targetLayerIdSet;//更新需要解码图片的nuh_layer_id集 m_targetOutputLayerIdSet = m_cDecLib.getVPS()->m_targetOutputLayerIdSet;//更新需要输出图片的nuh_layer_id集 }

本小节的分支1：前一个NALU所在的图像是被跳过解码的，当前要解码NALU所在的图像不是被跳过解码的。当前NALU的类型又恰巧是VCL(除去保留的)，又很恰巧这是AU中第一个VCL类型的NALU。那么就要调用解码器类进行以下三步操作

resetAccessUnitNals()

resetAccessUnitApsNals()

resetAccessUnitPicInfo()

都是跟AU相关的，没有跟进去看，具体啥作用也不知道。同时也要把bPicSkipped设置为false。

m_cDecLib.decode():调用解码器类进行解码的函数，需要另开篇幅仔细描述的。

本小节分支2：如果解码过的NALU类型是VPS(video parameter set),还需要提取一些信息。

2.2 if((bNewPicture || !bitstreamFile || nalu.m_nalUnitType == NAL_UNIT_EOS)…)

if (!loopFiltered[nalu.m_nuhLayerId] || bitstreamFile) {//满足以下至少一个条件：1）eof且还未进行环路滤波？；2）将要解码的NALU是图像中的第一个NALU；3）上一个NALU的类型是EOS m_cDecLib.executeLoopFilters();//调用解码器类进行环路滤波 m_cDecLib.finishPicture(poc, pcListPic, INFO, m_newCLVS[nalu.m_nuhLayerId]);//一张图像解码完后的一些操作？ } loopFiltered[nalu.m_nuhLayerId] = (nalu.m_nalUnitType == NAL_UNIT_EOS);//如果NALU的类型为EOS，则将loopFiltered设置为true if (nalu.m_nalUnitType == NAL_UNIT_EOS) { m_cDecLib.setFirstSliceInSequence(true, nalu.m_nuhLayerId);//如果NALU的类型为EOS，下一个NALU所在的slice将是sequence中的第一个slice } //图像解码完成后有关于IRAP和GDR的操作 m_cDecLib.updateAssociatedIRAP(); m_cDecLib.updatePrevGDRInSameLayer(); m_cDecLib.updatePrevIRAPAndGDRSubpic();

只要不是eof并且已经滤波那么执行以下操作

m_cDecLib.executeLoopFilters()：调用解码器类进行环路滤波m_cDecLib.finishPicture():结束编码一帧并放入pcListPic中

如果上一个NALU的类型是EOS，那还需要将loopFiltered设置为true，并标记解码过程处于CLVS中的第一个slice

之后还有一些与IRAP和GDR相关的操作，没有跟进去看，具体啥作用也不知道。

2.3 if( pcListPic )

if( !m_reconFileName.empty() && !m_cVideoIOYuvReconFile[nalu.m_nuhLayerId].isOpen() )//存在m_reconFileName，且m_cVideoIOYuvReconFile不能使用 {//分支1 // 使用pcListPic中的第一张图的BitDepths作为m_outputBitDepth const BitDepths &bitDepths=pcListPic->front()->cs->sps->getBitDepths(); for( uint32_t channelType = 0; channelType < MAX_NUM_CHANNEL_TYPE; channelType++ ) { if( m_outputBitDepth[channelType] == 0 ) { m_outputBitDepth[channelType] = bitDepths.recon[channelType]; } } std::string reconFileName = m_reconFileName; if( ( m_cDecLib.getVPS() != nullptr && ( m_cDecLib.getVPS()->getMaxLayers() == 1 || xIsNaluWithinTargetOutputLayerIdSet( &nalu ) ) ) || m_cDecLib.getVPS() == nullptr ) {//要么不存在VPS，要么当VPS存在的时候满足以下条件之一：1）最大允许层等于1；2）上一个NALU的nuh_layer_id在m_targetOutputLayerIdSet中 m_cVideoIOYuvReconFile[nalu.m_nuhLayerId].open( reconFileName, true, m_outputBitDepth, m_outputBitDepth, bitDepths.recon ); // 将文件流设置为write mode } } // write reconstruction to file if( bNewPicture )//如果要解码的NALU是图像中的第一个NALU，将重构图像写入文件 { xWriteOutput( pcListPic, nalu.m_temporalId ); } if (nalu.m_nalUnitType == NAL_UNIT_EOS)//如果上一个NALU类型是EOS，将重构图像写入文件，将m_bFirstSliceInPicture设置为false { xWriteOutput( pcListPic, nalu.m_temporalId ); m_cDecLib.setFirstSliceInPicture (false); } // write reconstruction to file -- for additional bumping as defined in C.5.2.3 if (!bNewPicture && ((nalu.m_nalUnitType >= NAL_UNIT_CODED_SLICE_TRAIL && nalu.m_nalUnitType <= NAL_UNIT_RESERVED_IRAP_VCL_12) || (nalu.m_nalUnitType >= NAL_UNIT_CODED_SLICE_IDR_W_RADL && nalu.m_nalUnitType <= NAL_UNIT_CODED_SLICE_GDR))) { xWriteOutput( pcListPic, nalu.m_temporalId ); }

本节分支1：如果存在输出文件名，且输出文件流未打开。则取pcListPic中的第一张图的BitDepths作为以后输出的比特位数。然后打开相应的输出文件流

之后三个分支都与将重构图像写入文件有关，分别是当：

如果要解码的NALU是图像中的第一个NALU

上一个NALU类型是EOS

是C.5.2.3定义的情况

第二种情况还要标记解码过程未进入一帧中的第一个slice

3. 收尾

xFlushOutput( pcListPic );//结束解码，清空pcListPic // get the number of checksum errors uint32_t nRet = m_cDecLib.getNumberOfChecksumErrorsDetected(); // delete buffers m_cDecLib.deletePicBuffer(); // destroy internal classes xDestroyDecLib(); destroyROM();//清除存放在ROM的变量

xFlushOutput():清空之前的缓存帧

m_cDecLib.getNumberOfChecksumErrorsDetected()：统计checksum errors的数量，并将其返回

m_cDecLib.deletePicBuffer()：清除解码器类的picture buffer

xDestroyDecLib()：摧毁解码器类

destroyROM()：清除存放在ROM的变量