算法导论

何谓算法（Algorithm）

通俗的讲，算法是指解决问题的一种方法或一个过程。严格的讲，算法是若干指令的有穷序列，满足性质：

(1) 输入：有零个或者多个外部量作为算法的输入。

(2) 输出：算法产生至少一个量作为输出。

(3) 确定性：组成算法的每条指令是清晰，无歧义的。

(4) 有限性：算法中每条指令的执行次数是有限的，执行每条指令的时间也是有限的。

何谓程序(Program)

程序是算法用某种程序设计语言的具体实现。程序可以不满足算法的性质(4)即有限性。例如操作系统，它是在无限循环中执行的程序，因而不是算法。然后可把操作系统的各种任务看成一些单独的问题，每一个问题由操作系统中的一个子程序通过特定的算法实现。该子程序得到的输出结果后便终止。

问题求解(Problem Solving)

 

算法设计过程

1． 理解问题

2． 了解计算机设备的性能

3． 在精确解法和近似解法间做选择

4． 确定适当的数据结构

5． 算法设计技术

6． 详细表述算法的方法

7． 证明算法的正确性

8． 分析算法

9． 为算法写代码

算法复杂性分析

算法复杂性 = 算法所需要的计算机资源;

算法的时间复杂性T(n);

算法的空间复杂性S(n);

其中n是问题的规模（输入大小）.

1、算法渐近复杂性

 

t(n)是T(n)的渐近性态，为算法的渐近复杂性。

在数学上， t(n)是T(n)的渐近表达式，是T(n)略去低阶项留下的主项。它比T(n) 简单。

2、渐近分析的记号

在下面的讨论中，对所有n，f(n) >= 0，g(n)>=0。

(1)渐近上界记号Ο

O(g(n)) = { f(n) | 存在正常数c和n0使得对所有n >=n0有：0 <= f(n)<= cg(n) }

(2)渐近下界记号Ω

Ω(g(n)) = { f(n) | 存在正常数c和n0使得对所有n>=n0有：0 <=cg(n)<=f(n) }

(3)非紧上界记号o 

o(g(n)) = { f(n) | 对于任何正常数c>0，存在正数和n0 >0使得对所有n>=n0有：0 <=f(n)

等价于  f(n) / g(n) ->0 ，as  n->∞。

(4)非紧下界记号ω

ω(g(n)) = { f(n) | 对于任何正常数c>0，存在正数和n0 >0使得对所有n>=n0有：0 <=cg(n) < f(n) }

等价于  f(n) / g(n)-> ∞，as  n->∞。 f(n) ∈ω(g(n))  等价于g(n) ∈o (f(n)) 

(5)紧渐近界记号Θ

Θ(g(n)) = { f(n) | 存在正常数c1,c2和n0使得对所有n>=n0有：c1g(n)<=f(n)<=c2g(n) }

 定理1： Θ(g(n)) = O (g(n)) ∩Ω(g(n)) 

3、渐近分析记号在等式和不等式中的意义

f(n)= Θ(g(n))的确切意义是：f(n)∈Θ(g(n))。

一般情况下，等式和不等式中的渐近记号Θ(g(n))表示Θ(g(n))中的某个函数。

例如：2n*n + 3n + 1 = 2n*n + Θ(n) 表示

2n*n+3n +1=2n*n + f(n)，其中f(n) 是Θ(n)中某个函数。

等式和不等式中渐近记号O,o,Ω和Θ的意义是类似的。

4、渐近分析中函数比较

f(n)= O(g(n)) ≈a <= b;

f(n)= Ω(g(n)) ≈ a >= b;

f(n)= Θ(g(n)) ≈ a = b;

f(n)= o(g(n)) ≈ a < b;

f(n)= ω(g(n)) ≈ a > b

5、渐近分析记号的若干性质

（1）传递性：

 

（2）反身性：

（3）对称性

（4）互对称性

 

几种复杂度比较

 

n	Logn	n	nlogn	n^2	n^3	2^n	n!
10	3.3	10	3.3*10	10^2	10^3	10^3	3.6*10^6
10^2	6.6	10^2	6.6*10^2	10^4	10^6	1.3*10^30	9.3*10^157
10^3	10	10^3	1.0*10^4	10^6	10^9

算法的效率

一个算法的最差效率：是指当输入规模为N时，算法在最坏情况下的效率。

一个算法的最优效率：是指当输入规模为N时，算法在最优情况下的效率。

一个算法的平均效率：在“典型”或者“随机”输入的情况下，算法会具有什么样的行为。 

（1）最坏情况下的时间复杂性

  Tmax(n) = max{ T(I) | size(I)=n }

（2）最好情况下的时间复杂性

  Tmin(n) = min{ T(I) | size(I)=n }

（3）平均情况下的时间复杂性

  Tavg(n) = 

 

其中I是问题的规模为n的实例，p(I)是实例I出现的概率。

算法分析方法

例：顺序搜索算法

1	template<class Type>

2	int seqSearch(Type *a, int n, Type k)

3

{

4	for(int i=0;i

5	if (a[i]==k) return i;

6	return -1;

7

}

（1）Tmax(n) = max{ T(I) | size(I)=n } = O(n)

（2）Tmin(n) = min{ T(I) | size(I)=n } = O(1)

（3）在平均情况下，假设：

 (a) 搜索成功的概率为p ( 0 <= p<= 1 )；

(b) 在数组的每个位置i ( 0 <=i < n )搜索成功的概率相同，均为 p/n。

 

 

算法分析的基本法则

1、非递归算法

（1）for / while 循环

循环体内计算时间 * 循环次数；

（2）嵌套循环

循环体内计算时间 * 所有循环次数；

（3）顺序语句

各语句计算时间相加；

（4）if-else语句

if语句计算时间和else语句计算时间的较大者。

2、递归算法复杂性分析

int factorial(int n)

{

    if (n == 0) return 1;          

    return n*factorial(n-1);

}