ios的音视频开发,ios的音视频开发面试

基于 ZEGO SDK 实现 iOS 一对一音视频聊天应用

在开始集成 ZEGO Express SDK 前，请确保开发环境满足以下要求：

我们拥有10多年网页设计和网站建设经验，从网站策划到网站制作，我们的网页设计师为您提供的解决方案。为企业提供网站设计制作、成都网站制作、微信开发、小程序设计、手机网站开发、H5响应式网站、等业务。无论您有什么样的网站设计或者设计方案要求，我们都将富于创造性的提供专业设计服务并满足您的需求。

2.1 创建项目

进入即构官网， 在 【ZEGO控制台】 创建项目，并申请有效的 AppID，这一步很关键，appid为应用的唯一标识，如身份证号，是应用的身份证明，用于明确你的项目及组织身份。zego提供的服务也是基于APP ID；

App ID的获取方式很简单，只需3～5分钟，在即构官网-我的项目-创建即可。创建的项目信息可用于SDK的集成和配置；

2.2 Token 鉴权

开始集成前，可参考如下步骤设置你的项目；

如已有项目，本步骤可忽略。

如需新建项目，可按照以下步骤创建你的新项目：

用户通过 ZEGO Express SDK 进行视频通话的基本流程为：

用户 A、B 加入房间，用户 B 预览并将音视频流推送到 ZEGO 云服务（推流），用户 A 收到用户 B 推送音视频流的通知之后，在通知中播放用户 B 的音视频流（拉流）。

整个音视频通话推拉流过程的 API 调用时序如下图：

1. 创建界面

根据场景需要，为你的项目创建视频通话的用户界面。我们推荐你在项目中添加如下元素：

2.引入头文件，准备基础工作

3. 创建引擎

调用 createEngineWithProfile 接口，将申请到的 AppID 传入参数 “appID”，创建引擎单例对象。

注册回调，可将实现了 ZegoEventHandler 的对象（例如 “self”）传入参数 “eventHandler”。

调用 loginRoom 接口登录房间。roomID 和 user 的参数由您本地生成，但是需要满足以下条件：

调用登录房间接口之后，您可通过监听 onRoomStateUpdate 回调实时监控自己在本房间内的连接状态。

1. 预览自己的画面

如果希望看到本端的画面，可调用 startPreview 接口设置预览视图，并启动本地预览。

2. 将自己的音视频流推送到 ZEGO 音视频云

在用户调用 loginRoom 接口后，可以直接调用 startPublishingStream 接口，传入 “streamID”，将自己的音视频流推送到 ZEGO 音视频云。您可通过监听 onPublisherStateUpdate 回调知晓推流是否成功。

“streamID” 由您本地生成，但是需要保证：

同一个 AppID 下，“streamID” 全局唯一。如果同一个 AppID 下，不同用户各推了一条 “streamID” 相同的流，后推流的用户推流失败。

进行视频通话时，我们需要拉取到其他用户的音视频。

在同一房间内的其他用户将音视频流推送到 ZEGO 音视频云时，我们会在 onRoomStreamUpdate 回调中收到音视频流新增的通知，并可以通过 ZegoStream 获取到某条流的 “streamID”。

我们可以在该回调中，调用 startPlayingStream ，传入 “streamID” 拉取拉取播放该用户的音视频。您可通过监听 onPlayerStateUpdate 回调知晓是否成功拉取音视频。

音视频的基础功能已完成，接下来我们运行下效果，1步快速检验成果。

step1 , 与好友一起安装编译好的App，在手机上可以看到对方并进行通话互动。

完成以上，说明你成功啦！

Enjoy与好友的欢乐时光!

获取 本文的Demo、开发文档、技术支持。

获取 SDK的商务活动、热门产品。

注册即构ZEGO开发者帐号， 快速开始。

iOS 音频系列之一：Core Audio简介

任何吸引人的游戏都少不了声音。iOS开发者在游戏中需要使用声音时有多种选择，取决于对游戏中音频的控制需求，可以选择简单的内置服务，也可以选择更高级的API（比如OpenAL）。

通过音频API，可以实现流式音频，播放简短音效，甚至模拟3d空间的音频。有些游戏可以通过音轨让玩家沉浸在特定的心境中玩游戏，设置鼓励用户使用耳机来获得更完美的体验。

本系列文章中，会陆续整理近几年来在工作中涉及到的音频的相关知识，以算做对自己知识体系的一次梳理吧，大体包括Core Audio、OpenAL 以及Cocos2d引擎中的音效部分等三个方面。

• Core Audio 是什么?

• Core Audio 中提供的音频服务

• Core Audio 中的有关音频框架

• 有关 Core Audio 的变化及更新

Core Audio 是什么？

Core Audio 是iOS和 MAC 的关于数字音频处理的基础，它提供应用程序用来处理音频的一组软件框架，所有关于IOS音频开发的接口都是由Core Audio来提供或者经过它提供的接口来进行封装的，按照官方的说法是集播放、音频处理、录制为一体的专业技术，通过它我们的程序可以同时录制，播放一个或者多个音频流，自动适应耳机，蓝牙耳机等硬件，响应各种电话中断，静音，震动等，甚至提供3D效果的音乐播放。

相关链接:

Core Audio Overview

Audio Video Starting Point

Core Audio Glossary

Core Audio中提供的音频服务

Core Audio 本身是一个很庞大的话题，涉及到多个领域中的不同服务，为了更方便的使用Core Audio，通常可以将其分割为更小的模块。图一展示了根据应用程序服务层分解的示意图。构建在应用程序栈最下面的是底层硬件。接下来往上是驱动程序层。构建在驱动层之上的每一层都是苹果提供给开发人员的应用层服务，包括各类音频API和框架。

主要的几类服务：

Audio Unit

Audio Unit 是Core Audio 在应用层中最底层的服务。在使用其他音频API时，最终在底层都会调用到Audio Unit。在所有的API中，Audio Unit 是延迟最短且最灵活的，但代价就是它的使用相当的复杂，幸运的是在实际使用中，我们很少直接使用Audio Unit。

相关链接:

Audio Unit Framework Reference

相关项目工程：

Core Audio Utility Classes

Audio File Service

通过Audio File Service 提供的API可以打开并读取或者写入磁盘上存储的文件。

Audio File Stream Service

它是对Audio File Service 的扩展补充。Audio File Service 对存储到磁盘上的音频文件进行操作，而Audio File Stream Service

并不一定关联到某个文件上，它更适合基于网络的音频应用程序。

Audio Conversion Service

通过它可以将数据转换为PCM格式或者从PCM格式转换成数据。

Extended Audio File Service

可以将它理解为Audio File Service 和 Audio File Service 的组合。通过这种API 可以直接加在并转换音频文件。

Audio Session Service

和Core Audio中的其他API不同，它的主要用于 iOS 系统中协调应用程序之间的音频播放的 API 的。例如，当有电话打进来时，音频的播放就会被暂停；在用户启动电影时，音乐的播放就会停止。我们需要使用这些 API 来确保一个应用程序能够正确响应并处理这类事件。

System Sound Service

它是一种允许播放短音效和警告的基本服务，还具有提供振动功能的独特能力，Core Audio中的其他任何服务都不能访问振动系统。

Audio Queue Service

它可以对播放音频进行精细的控制，比如暂停、继续、循环播放和音频同步等，因此特别适合于播放和录制持续时间很长的音频。在游戏中进行语音叙述等情景时，需要音乐或者长时间的播放文件，便会需要它。

AVFoundation

它是Core Audio中唯一基于Objective－C的框架。这个框架提供了AVAudioPlayer类用于播放，AVAudioReconder类用于录音，以及AVAudioSession类用于设置音频回话。和其他高层API一样，我们需要在易用性和功能之间做出权衡。如果在此框架中找不到我们需要的特性或者功能，那么就必须深入底层服务并直接使用底层的API。

相关链接：

AV Foundation Framework Reference

AV Foundation Programming Guide

Audio Session Programming Guide

相关的项目工程:

AVCaptureAudioDataOutput To AudioUnit iOS

OpenAL

和其他专用API不同，OpenAL是一个狂平台的用于播放和捕捉音频的工业标准。OpenAL更适合播放空间音频（spatialized sound）或者定位音频（positional sound）。可以将空间音频理解成3D空间中的声音，通过OpanAL可以对音效添加一些效果，比如位置属性，这样会使远程的声音比近处的声音听起来要弱一些。

相关链接：

OpenAL FAQ for iPhone OS

相关的项目工程：

oalTouch

Core Audio中的有关音频框架

Core Audio 中的服务和框架并没有一对一的对应关系，应用层的服务实际上分为5个不同的框架：Core Audio、Audio Toolbox、Audio Unit、AVFoundtaion、OpenAL。图二中很好的展示了这些框架和服务之间的映射关系。

Audio Unit、AVFoundation和OpenAL的框架非常明了，和他们同名的服务直接对应，其中AVFoundtion有三个Objective－C类组成：AVAudioPlayer、AVAudioRecorder和AVAudioSession。

Audio Toolbox 框架提供了前面列出的其他剩下的应用层服务，包括非常重要的Audio Session Service。

相关链接：

Audio Toolbox Framework Reference

其他相关框架：

Media Player Framework

它是一个用于音频和视频播放的高层级接口，它包含了一个可以在应用中直接使用的默认的用户界面，可以使用它来播放用户在 iPod 库中的项目，或者播放本地文件以及网络流。另外，这个框架也包括了查找用户媒体库中内容的 API，同时还可以配置像是在锁屏界面或者控制中心里的音频控件。

相关链接：

Media Player Framework Reference

Core MIDI Framework

提供与MIDI设备通讯的标准方式，包括硬件键盘和合成器。可以使用这个框架来发送和接收MIDI消息以及与通过dock连接器或网络连接到iOS设备的MIDI外设交互。

相关链接：

Core MIDI Framework Reference

OS 4.0以后的功能变化如下：

iOS 7.1

Support for External Media Players (CarPlay相关的)

iOS 7.0

新增 Inter-App Audio和 AudioCopy

强化 Media Player / AV Foundation Framework

弃用 Audio Toolbox framework内的Audio Session API

iOS 6.0

新增 Audio UnitのComponent

强化 Media Player / Core Media / AV Foundation Framework

iOS 5.0

新增 Audio UnitのComponent

强化 Media Player / AV Foundation / AudioToolbox Frameworks

iOS 4.3

强化 AV Foundation

强化 Media Player / Audio Unit / Audio Toolbox Frameworks

iOS 4.2

新增 Core MIDI framework

强化 Media Player Framework

新增 AirPlay

iOS 4.1

强化 AV Foundation

iOS 4.0

新增 Core Media Framework

强化 AV Foundation

相关链接：What's New in iOS

iOS 音视频开发 - 系统中断音频（Swift语言）

注册 AVAudioSession.interruptionNotification 的通知，可以收到播放打断通知。 系统将此通知发布到主线程。

其中userinfo有如下字段：

分began与end，用来表示打断开始与打断结束。

只在打断结束时返回。选项用 shouldResume 来指示：另一个音频会话的中断已结束，应用程序可以恢复其音频会话。

该属性只在打断开始时返回。存在于版本iOS 10.3-14.5。

用于确定这次中断是否由于系统挂起App所致。

获取到的是一个NSNumber表示的Bool。为true表示中断是由于系统挂起，false是被另一音频打断。

该属性只在打断开始时返回。存在于版本iOS 14.5以后，用来代替 AVAudioSessionInterruptionWasSuspendedKey 。

default ：因为另一个音频会话被激活,音频中断。（例如后台播着音频，此时播放微信语音）

appWasSuspended ：由于APP被系统挂起，音频中断

builtInMicMuted ：音频因内置麦克风静音而中断(例如iPad智能关闭套【iPad's Smart Folio】合上)