Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1426175
  • 博文数量: 188
  • 博客积分: 1784
  • 博客等级: 上尉
  • 技术积分: 2772
  • 用 户 组: 普通用户
  • 注册时间: 2011-04-05 22:20
个人简介

发上等愿,结中等缘,享下等福;择高处立,就平处坐,向宽处行。

文章分类

全部博文(188)

文章存档

2020年(12)

2019年(11)

2018年(4)

2017年(3)

2016年(11)

2015年(22)

2014年(19)

2013年(25)

2012年(32)

2011年(49)

分类: Windows平台

2013-02-17 10:03:35

最近调研android视频录制、另一部手机实时观看,大致有以下几种思路。

 

1. android手机充当服务器,使用NanoHTTPD充当服务器,另一部手机或者pc通过输入http://手机的ip:8080网址观看。

这种方案可以参考 ipcamera-for-android开源项目,网址 

 

可以运行的源代码可以在这下载           

 

缺点:android手机必须支持MP4+ARM_BN格式,有些手机不兼容,延时有点厉害

 

2. android手机采用juv-rtmp-client.jar包,网上有收费的包,但可以搜索破解包,通过rtmp协议发布服务到red5服务器。服务 器当然是red5了,可以用red5自带的的OFLA Demo做测试。客户端代码可以参考ivideochat,下载地址              

 

电脑可以直接通过安装了flash player浏览器观看,手机呢,可以找一个支持rtmp协议的播放器了。

 

缺点:需要flash支持

 

3.android手机通过camera类拍摄视频。把一帧一帧的图像压缩通过socket发送到服务器,服务器可以直接观看。而要想让另一台手机也能观看,可以让服务器转发来实现。

例子网上有很多,       

缺点:通过一帧一帧的发送数据,传输过程耗费大量流量。玩玩可以,但实际项目中不可取。

 

4.android手机通过camera类拍摄视频,把拍摄的视频通过h264编码,可以采用软编码(使用x264库或者opencore软件 库),java类通过jni调用编译后的so文件来实现。然后通过基于udp的rtp协议传输到服务器。为什么不使用tcp协议呢,因为tcp的重传机制 会产生延时和抖动,而单独使用udp传输协议本身是面向无连接的,不能提供质量保证,需要在udp协议只上采用rtp或者rtcp提供流量控制和拥塞控制 服务。服务器通过ffmpeg对接收的h264解码并播放。播放可以使用VLC media player。如果对c++比较熟悉,可以看看live555这个开源项目。

缺点:需要懂得的知识很多,jni啊,h264编码解码 ,rtp协议等。使用软编码,效率比较低,耗cpu耗电啊。

 

5.android手机通过mediaRecorder类拍摄视频,其中当然包括音频了。把拍摄的视频通过h264编码,可以采用硬编码(面向手机的硬件直接操作),只能针对3gp,mp4视频格式。方法参考  http://blog.csdn.net/zblue78/article/details/6078040

这篇博客,里面讲的很详细,提取h264的sps,pps,可以参考      http://blog.csdn.net/peijiangping1989/article/details/6934317     

winHex是一款好用的16进制查看工具,下载地址          

 

代码网上有很多,个人理解是:mediaRecorder录制视频(3gp,MP4),可以通过 mMediaRecorder.setPreviewDisplay(mSurfaceHolder.getSurface());预览视频,通过 localsocket发送到本地的localserversocket的h264实时视频流。

这个过程涉及到硬编码,硬编码个人理解是,在预览过程或者提前确定视频的sps,pps,head(一般为0x00000001),不同的手机硬件 不一样。把得到的这些参数写入h264,得到正确的h264视频流文件,然后把流通过rtp协议(或者其他)发送到服务器。服务器端对得到的h264用 ffmepg解码,播放。

 

貌似项目客户需要在苹果电脑,手机上播放。这个时候HLS协议就出来了,头疼的东西,服务器采用nginx,ffmpeg解码。nginx服务器搭建过程,ffmpeg安装过程  见我前几篇文章。   

然后用ffmpeg对解码后的mp4文件进行ts切片,生成带有索引的m3u8文件,然后客户端就可以通过浏览器 :port/ *.m3u8访问。

 

过程貌似是这样的,但自己由于刚接触不到一个周,还不太理解。

 

 6.相对容易、且效果不错的方法,android手机上搭建rtsp服务器,另一台手机使用VLC播放器输入rtsp://ip:port/播放 视频。具体原理是,通过android手机对mediaRecorder录制视频,把localsocket传输到本地的流经过硬编码,添加rtp头,分 离NALU包,根据rtsp协议交互过程把数据发送到对方。

 

代码可以参考spydroid了,源代码可以通过svncheckout,能够正常运行,且效果不错。

 

             。网上还没有分析spydroid源码的文章,等自己空了有机会分析下源代码。

 

7.前面讲的都是单向视频,如果是双向视频,其实就是视频会议了,可以参考开源源代码了,网址           

 

由于没有时间,就不研究这个了。

阅读(13517) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~