我很困惑知道编解码器内部会发生什么。我想了解音频编码器和解码器内部的元素。如果你能给我一些链接，我可以找到一些好的学习材料，我将非常高兴。
确切地说，我想知道编解码器如何解析媒体文件。
您的标题询问A / V压缩，但您的其他评论涉及解析媒体文件和识别其编解码器。这些是非常不同的任务：由不同组织规范和实施，由大多数多媒体库中的不同API执行，并且最重要的是需要非常不同的技能组。
A / V文件格式与任何其他文件格式没有太大区别，而后者只是formal grammars。解析，验证和生成的对象图在概念上与任何其他语法没有什么不同 - 在实践中，它们往往比在标准CS课程（编译器，有限自动机）中遇到的语法简单得多。 AVI file format在这一点上已经过时，但我仍然建议从那里开始，因为：
与此同时，编解码器是您可能在“消费者”软件中找到的最复杂的算法。他们在学术界和大公司（包括庞大的专利图书馆）的研发部门中取得了很大的进步。要精通编解码器，您至少需要了解以下基础知识：
如果你已经有了不错的背景（例如，你已经拿了一两个本科水平的“工程师数学”类型的课程）那么我就说潜水了。许多最好的A / V编解码器都是开源的：
通常，视频压缩涉及丢弃尽可能多的信息，同时对最终用户的观看体验具有最小影响。例如，使用二次采样YUV而不是RGB将视频大小切成两半。这是可能的，因为人眼对颜色的敏感度低于对亮度的敏感度。在YUV中，Y值是亮度，U和V值表示颜色。因此，您可以丢弃一些减少文件大小的颜色信息，而不会让观察者注意到任何差异。
之后，大多数压缩技术尤其利用2个冗余。第一个是时间冗余，第二个是空间冗余。
时间冗余指出视频序列中的连续帧非常相似。通常，视频将是每秒20-30帧的量级，并且在1/30秒内没有太大变化。拍摄任何DVD并暂停，然后在一帧上移动它，并注意两张图像的相似程度。因此，MPEG-4（和其他压缩标准）不是独立编码每个帧，而是仅对连续帧之间的差异进行编码（使用motion estimation来查找帧之间的差异）
空间冗余利用了这样的事实，即通常在图像上的颜色扩散往往是非常低的频率。我的意思是相邻像素往往具有相似的颜色。例如，在您穿着红色跳线的图像中，代表您的跳线的所有像素都将具有非常相似的颜色。可以使用DCT将像素值变换到频率空间中，其中可以丢弃一些低频信息。然后，当执行反向DCT时（在解码期间），图像现在没有丢弃的低频信息。
要查看丢弃此信息的效果，请打开MS绘制并绘制一系列重叠的水平和垂直黑线。将图像另存为JPEG（也使用DCT进行压缩）。现在放大图案，注意线条的边缘不再那么尖锐，有点模糊。这是因为在压缩过程中丢失了一些信息（从黑色到白色的过渡）。阅读this以获得精美图片的解释
为了进一步阅读，this book相当不错，如果对数学有点重。
尝试从这里开始：
Windows Media Encoder入门
http://www.microsoft.com/windows/windowsmedia/howto/articles/introencoding.aspx
更多数据可在codecpage.com上找到
通过使用MPEG4解码器，我学到了很多关于MPEG4格式的知识。对于视频和音频，有许多不同的参考（和开源实现）编码器和解码器。所以，打电子书 - 从维基百科开始：它有很好的一般摘要和链接（如果你很幸运“打开规格”）。然后点击源头。
有许多不同的编码方式（许多涉及某种形式的压缩，无论是有损还是无损），并且整个问题通常还需要处理框架容器和“子格式”而变得更加复杂。
玩得开心。