Chinaunix首页 | 论坛 | 博客 登录 | 注册
  • 博客访问: 131123
  • 博文数量: 228
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 2290
  • 用 户 组: 普通用户
  • 注册时间: 2021-05-18 15:26
文章分类

全部博文(228)

文章存档

2023年(40)

2022年(114)

2021年(74)

我的朋友

分类: 云计算

2022-11-18 14:06:25

我就先从一个简单的问题聊起,“到底 Android 开发有前途还是 iOS 开发有前途?”

其实这个问题跟 “PHP 是不是世界上{BANNED}最佳好的语言一样”,只会引发争论,却没有什么实际价值,在我看来,无论是 Windows、Linux、Android 还是 iOS 开发,都没有什么优劣之分。

它们其实都有着很多的共同点,那就是:

    1)都是基于操作系统提供的 API 完成特定需求的实现
    当然,也有些不同的地方,比如:
    2)系统的 API 和特性不同
    3)编程语言不同,Windows/Linux 以 C/C++ 为主,Android 以 Java 为主,iOS 以 Object C 为主等等。


但无论什么平台,他们的学习曲线其实是类似的,都要经历差不多如下的环节:

    1)学习对应平台的编程语言,如:C/C++,Java,Object C,Javascript 等;
    2)熟悉对应平台提供的 API,如:UI 库,网络,文件,数据库, 图片处理,多媒体处理 等等;
    3)掌握平台相关的特性、框架和原理,如:Windows 的 WINSOCK,ODBC,WPF 等,Unix 的设计哲学,Android 的四大组件,iOS 的 MVC 模式等等;
    4)通过具体的项目,熟悉和练手,达到可完成任意功能的开发。


当你已经走到第 4 步了后,往往就会感觉遇到了瓶颈,产生如文章开头的问题,下一步何去何从 ?

其实我一直有一个观点,就是:

“基于平台的 API 做应用开发,并不是一个可以走得多远的方向,真正有价值的地方在于与具体的业务方向结合”。

具体点说,比如:

    1)网络安全;
    2)音视频;
    3)智能硬件;
    4)深度学习;
    5)大数据;
    6)其他(比如:金融、通信等)。


在具体的业务领域,你可以慢慢沉淀下来,用自己的努力和时间换来对领域知识的深入理解和积累,逐渐从一个开发小白走向{BANNED}最佳懂这个行业的专家。

其实说白了,音视频开发,就是要掌握图像、音频、视频的基础知识,并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

具体的技术内容如下:

  • 采集:它解决的是,数据从哪里来的问题;
  • 渲染:它解决的是,数据怎么展现的问题;
  • 处理:它解决的是,数据怎么加工的问题;
  • 传输:它解决的是,数据怎么共享的问题。


每一个门类,都可以深挖,衍生出一个又一个充满技术挑战的话题,比如:如何更高效地渲染画面、如何提高音视频的压缩比,如何优化弱网下的音视频数据传输等等。即时通讯聊天软件app开发可以加蔚可云的v:weikeyun24咨询


其实,音视频开发的技术积累,也没有那么难,带着问题去 Google,带着任务去实践,一切都不是问题,我们就从上面说的 4 个方向,逐个探索一下,有哪些知识点,是要我们去了解和掌握的。

采集,它解决的是,数据从哪里来的问题,那么,数据究竟从哪里来的呢 ?

其实无论在哪个平台,图像、视频{BANNED}最佳初都是来自摄像头,而音频{BANNED}最佳初都是来自麦克风,因此,做音视频采集,就要掌握如下的技术知识。

1)系统的摄像头采集接口是什么,怎么用 ?

比如:

Windows:DirectShow
Linux:V4L2
Android:Camera
iOS:AVCaptureSession

2)系统的摄像头采集的参数怎么配置,都是什么含义 ?

比如:分辨率、帧率、预览方向、对焦、闪光灯 等。

3)系统的摄像头输出的图像/视频数据,是什么格式,不同格式有什么区别 ?

比如:图片:JPEG,视频数据:NV21,NV12,I420 等

4)系统的麦克风采集接口是什么,怎么用 ?

比如:

Windows:DirectShow
Linux:ALSA & OSS
Android:AudioRecord
iOS:Audio Unit

5)系统的麦克风采集参数怎么配置,都是什么含义 ?

比如:采样率,通道号,位宽 等

6)系统的麦克风输出的音频数据,是什么格式?

比如:PCM 

渲染,它解决的是,数据怎么展现的问题,那么,数据究竟怎么展现呢 ?

其实无论在哪个平台,图像、视频{BANNED}最佳终都是要绘制到视图上面,而音频{BANNED}最佳终都是要输出到扬声器,因此,做音视频渲染,就要掌握如下的技术知识。

1)系统提供了哪些 API 可以绘制一张图片或者一帧 YUV 图像数据的 ?

比如:

Windows:DirectDraw, Direct3D, GDI,OpenGL 等
Linux: GDI, OpenGL 等
Android:ImageView,SurfaceView,TextureView,OpenGL 等
iOS: CoreGraphics,OpenGL 等

2)系统提供了哪些 API 可以播放一个 mp3 或者 pcm 数据 ?

比如:

Windows:DirectSound 等
Linux:ALSA & OSS 等
Android:AudioTrack 等
iOS: AudioQueue 等

处理,它解决的是,数据怎么加工的问题,那么,数据究竟可以怎么加工呢 ?

首先,我们看看图像/音视频的数据可以做哪些加工 ?

其实无论在哪个平台,图像和音视频的加工,除了系统的 API,大多数都会依赖一些跨平台的第三方库的,通过掌握这些第三方库的原理和使用方法,基本上就可以满足日常音视频处理工作了。

这些库包括但不限于:

    1)图像处理:OpenGL,OpenCV,libyuv,ffmpeg 等;
    2)视频编解码:x264,OpenH264,ffmpeg 等;
    3)音频处理:speexdsp,ffmpeg 等;
    4)音频编解码:libfaac,opus,speex,ffmpeg 等。

传输,它解决的是,数据怎么共享的问题,那么,数据究竟怎么共享呢 ?

共享,{BANNED}最佳重要的一点,就是协议。

我觉得互联网之所以能够如此蓬勃地发展,将整个世界都紧密联系在一起,其实是离不开 W3C 这个委员会的巨大贡献的,因为无论什么数据,要想在不同的国家、不同设备之间互联互通,离不开 “标准”,有了 “标准”,大家就能互相读懂对方。

因此,研究音视频传输,其实就是在研究协议,具体有哪些协议呢 ?

    1)音视频在传输前,怎么打包的,如:FLV,ts,mpeg4 等;
    2)直播推流,有哪些常见的协议,如:RTMP,RSTP 等;
    3)直播拉流,有哪些常见的协议,如:RTMP,HLS,HDL,RTSP 等;
    4)基于 UDP 的协议有哪些?如:RTP/RTCP,QUIC 等。


互联网环境下的音视频的传输,是一个非常有挑战和价值的方向,为了解决弱网下的传输延时、卡顿,提高用户体验,整个业界都在不断地进行着深入的探索和优化。

阅读(277) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~