Chinaunix首页 | 论坛 | 博客
  • 博客访问: 890175
  • 博文数量: 85
  • 博客积分: 667
  • 博客等级: 上士
  • 技术积分: 1462
  • 用 户 组: 普通用户
  • 注册时间: 2009-04-27 15:59
个人简介

一沙一世界

文章分类

全部博文(85)

文章存档

2020年(9)

2019年(8)

2017年(3)

2016年(11)

2015年(17)

2014年(9)

2013年(4)

2012年(19)

2011年(1)

2009年(4)

分类: 嵌入式

2020-07-24 14:59:23

最近做海思35xx进行视频推流的项目,下面是在开发过程中的一些记录,我一般会把临时想起来的东西就记录在本子上,所以一个本子上可能什么方面的资料都有。所以大家就当流水帐阅读,可能有误,或者个人理解有不到位的地方,大家多多交流。这是一个开头,后面我会把遇到的问题点慢慢都记录下来。

项目背景:
      这是目前还没有完全收工做完的一个项目,基本差不多了。在无人机上机进行视频采集,然后通过网络传输到服务器。可以用于无人职守、现场勘测,监控等人员不方便亲到现场的场景。其实这是一个很独立的模块,可以安装到所有移动载体上进行视频采集、传输。当然随着具体使用场景的不同,一些匹配的硬件或结构可能要变,软件上的一些异常处理策略可能需要修改,但是大框架应该是不用动的。

项目简要说明:
      硬件采用海思35xx,除了主要考虑其编解码器外,还考虑后期进行视频分析计算。35xx具体的参数可以参考相关硬件说明,总之这货挺猛的。不过这几天据说由于美国参与,台积电不接单了,海思35xx价格翻倍了,顺带着联发科和高通的芯片都水涨船高。无线这块采用现在市面上比较通用的LC66xx,还有4G。LC66xx这货吧,也还行,只是我们的功率不能大,所以很容易受到干扰。3-5公里,一点事没有,5-8公里问题也不大,只是有一点,二者之间不能有遮挡。另外,在大街上,有车牌抓拍的环境,也会断线。总之,只要附近有同频设备在使用,80%以上概率LC66xx会受影响,除非提高功率。
      视频输入有三种接口,hdmi、usb、ip-camera,hdmi直接转mipi,35xx把这个视频来源当成摄像头来操作,获得视频数据直接编码264或265,该推流就推流,该存储就存储。usb接口摄像头需要先解码再编码,然后 操作和hdmi一样。ip-camera不经过编解码,直接进行解封装再重新封装,然后只推流。具体每一路视频怎么操作,根据配置文件进行。具体数据处理流程是这样的:海思硬件进行视频采集,编解码,然后调用ffmpeg接口按照协议格式解封装或封装后,从网络推到指定服务器。
      我的职责主要在底层,说的直接点就是对海思sdk进行二次封装。海思sdk不对业务负责。但是经过我的包装,业务层只要设置某接口,进行推流或存储即可,另外三率(码率,分辨率,帧率)可设置。然后给业务层小伙子提供2个库,一个是海思的打包库,一个是我的封装库。都是so库。

主要技能点:
1 要使用ffmpeg,有许多依赖库,这里需要你有较大型cmake和makefile的组织与编写技能,并且要熟悉各个库的配置参数,如果不熟悉,多试几次。我在移植srt的时候,现在感觉不是那么难,但是当时我感觉这些技能点怎么这么散啊,没办法,不知道怎么做的时候,干就是了。

2 硬件的一些知识必须了解,视频的基本知识也得必须了解,否则你会无从下手。另外你得会结合硬件使用海思提供的例子,修改例子,从例子当中抓取能在你项目中使用的信息,不停的修改,不停的尝试。你需要详细阅读海思的文档,很详细的阅读。

3 软件技能,多线程,同步和互斥,socket编程技能必须熟练点,否则你会很费劲,函数指针与回调函数在sdk中也经常使用。另外由于要写sdk,所以有一些具体实现上的注意点,如sdk只实现动作和状态,不涉及策略,直白点就是sdk很苦逼:只负责干,你让我怎么做我就怎么做,让我做几次我就干几次,你想要什么我就给什么。另外个人感觉最主要的部分是异常处理,这个属于最细节的部分,如网络信号不理想,需要链接线路切换,或者网络突然断线、超时等状况的时候,就是检查你的软件是否够强壮的时刻。还有下面几点:
   1     因为要提供库给别人,所以就需要考虑库的存储空间和调用成本;
   2     库是不参与源代码编译时刻的优化的,库能带来很大的好处,但是也要了解它的短板;
   3     在数据结构上进行一些数据压缩、拆分、合并等手段能进行一些提高数据密度的操作;
   4     循环结构的拆分,合并有时候也对效率有很大影响,其实3和4都是对缓存的高效使用;
   5     减少代码中if-else
就想到这么多吧,说的有点远了,跑题。
个人认为一个优秀的软件产品功能最多只占30%,细节处理上40%,产品化集成30%吧,可能不够全面。暂且就这么认为吧。这里你和产品经理或部门领导汇报的时候一定要注意,如果你把功能实现和他们说差不多做完了,他们可能会认为项目差不多可以交付了,这其中的区别是很大的啊。一句话:功能不是产品,产品需要打磨。

4 系统集成技能,这个也算是基本技能吧,包括环境搭建,系统编译,文件系统制作。这里我主要考虑的可维护性,实用性,可生产性等和生产、维护相关属性。

最后在添加一点个人经验:不要着急动手,先好好想结构,包括代码结构和数据结构。软件最好先根据需求写测试程序,测试程序最好能一键自动全部执行,测试程序先写必须的功能测试部分,然后写功能代码,在功能代码能通过测试前,不往前推进度。等到当前功能通过测试,再添加另外一个功能,然后再把前面所有的测试走一遍。开始可能会感到好麻烦,等你试运行一段时间,你会发现这是一个非常好的方式。避免出现写了不少代码,运行测试发现前面原来运行正常的功能不正常的现象,如果出现的话,你还得不断的注释,不断的测试来排查问题。由于大量注释加修改,最后还会带来其它隐患。






阅读(46) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~