分类： LINUX
2010-05-13 11:20:32
| Windows & Unix 文件格式之迷, 空格 与 tab 转换及其相关工具 | |
| 来源: ChinaUnix博客 日期： 2007.01.16 22:17 (共有0条评论) | |
资料1： Windows/DOS与Unix文件格式是不同的,问题一般就是出在/r/n问题上。 回车(CR)和换行(LF)符都是用来表示 “下一行”的。而标准没有规定要使用哪一个。于是产生了三种不同的用法：Dos和windows采用回车+ 换行(CR+LG)表示下一行（亦即所谓的PC格式，谁让MS最早雄踞PC市场呢，^_^），UNIX采用换行符（LF）表示下一行，MAC机采用回车符 （CR）表示下一行。当在不同的系统间传递文件，就要涉及格式的转换。 先搞清楚几个符号 DOS/Windows文本文件中使用CR（回车\r）和 LF（换行\n）， UNIX
文本只使用换行符，在行的末尾有一个换行(\n),也就是'\n' 两种文件格式之间的转化 ////////////////////////////////////////// 只要在Unix 文件中出现的'\n'的之前加入一个'\r'字符就可以了 Unix <- DOS 从Dos到Unix的情况复杂点，不能只是把从文件中读出的'\r'去掉就可以了 ////////////////////////////////////////// 资料2： |
|
|
(转载请保留本文完整信息) Windows & Unix 文件格式之迷, 空格 与 tab 转换及其相关工具 %3D1%26filter%3Ddigest 来自: eybuild@hotmail.com 关键字: DOS, Unix 文件格式, 空格 与 tab 转换工具 fbin win2unix tab2unix 摘要: 本文深入揭露 Windows & Unix 格式差异, 及因此而导至的各种问题. 同时介绍了一些与之相关的查看和操作工具, 并在 Windows, Unix 进行举例. 1. 问题提出: 我们可能会遇到过这样一些困惑: (1) 如何查看一个文件或数据流的二进制格式(以十六进制格式显示)? (2) 为什么在 windows下编译的 shell 脚本在 Unix下不能执行? 为什么在 windows下编辑的 C 源文件在有些 gcc 编译器下不能编译? (3) 为什么我在 vi 等编器下打开一个文本文件会包含 ^M, 如何把它去掉? 为什么我在 windows 上用记事本打开 unix上的文件, 文件都不换行? (4) 如何删除文件行尾的 空格 或 tab? 如何把文件中的 tab 转换成 空格, 或者把 空格 转换成 tab? 如何只转换行首 tab 转换成 空格? ... 2. 分析与方案: (1) 如何查看一个文件的二进制格式(以十六进制格式显示)? 查看任意文件或数据流的二进制格式, 我们非常常用. 方法一: 在 UtraEdit 使用 Ctrl + H 切换到十六进制编辑模式. ** 注意 ** : 此方法一有缺陷, 它会将行末的单个"换行符"显示成 "回车" + "换行" 两个字符. 这样会使问题 (2)(3)(4) 无法用此工具正确查看. 方法二: 使用文件或流的二进制查看工具 fbin fbin 可以运行于 windows 和各种 Unix 平台, 如下例的命令显示文件的前48字节: $ fbin xx.c 0x30 filename: 'xx.c' filelen : 0x68(104), offset: 0x38, max output: 0x30 00000000: 2369 6E63 6C75 6465 3C73 7464 696F 2E68 #include....intmain().. 00000020: 7B0D 0A20 2020 2063 6861 7209 2020 2020 {.. char. fbin 能准确显示文件中的每一个字节. (更多详细实例见后文) (2) 为什么在 windows下编辑的 shell 脚本在 Unix下不能执行? 为什么在 windows下编辑的 C 源文件在有些 gcc 编译器下不能编译? 原因分析: unix 的 shell 脚本不能识别 "回车符" (即: CR, '\r'), Windows 文件格式(详细分析见下文) 换行时, 总是以 "回车" + "换行" (可以借助上一问介绍的 fbin 工具, 查看文件中是否包含 "回车换行" 对), 导到 unix 下的 shell 无法正常解释. 解决方法: 就是把 windows 格式的中的 "回车" 符删除, 删除. 方法一: 使用 vi 打开源文件, 把 '\r\n' 替换成 '\n' ** 缺点 ** : 不适合大量文件的批量作业. 方法二: 使用 UtraEdit 把 Windows 格式的文件转换成 Unix 格式. (菜单)文件-->转换-->Unix转DOS ** 缺点 ** : 不适合大量文件的批量作业. 方法三: Unix 下的 dos2unix 命令, 如 $ dos2unix -k xx.c ** 缺点 ** : 此方法有一致命缺陷, 它会改变原来的文件属性. 如一个可执行 shell 脚本的可执行属性及其它属性, 转换后都将会丢掉 (即使用 -k 也只是能保留住原来的日期.) ** 优点 ** : 适合大量普通文件本文件的批量作业. 方法四: win2unix (windows, unix 均可使用), 功能类似 dos2unix, 如 win2unx xx.c (更多详细实例见后文) ** 优点** : 克服了 dos2unix 的所有缺点(见上), 它能保留源文件的任何属性. 还可以返回转换即 unix2win 适合大量文件的批量作业. (3) 为什么我在 vi 等编器下打开一个文本文件会包含 ^M, 如何把它去掉? (见结论 4, 5) 为什么我在 windows 上用记事本打开 unix上的文件, 文件都不换行? (见结论 1) 原因分析: 要解决这个问题, 必先弄清 unix 与 windows 文本文件的差异: 1) 磁盘中 Windows 文本文件总是以 "回车" + "换行"的形式进行换行的. 2) 磁盘中 Unix 格式的文本文件, 总是以"换行符"(即: LF, '\n') 换行, 而非 "回车换行符". (Unix 规定: unix 文本文件保存到磁盘时, 总是自动把 "回车换行符" 转换成 "回车符" 保存, 输出到终端时由终端自动将将 "回车符" 转换成 "回车换行符" 输出.) ** 容易看出 **: Windows 格式的文件换行时, 总是比 Unix格式的文件多一个 "回车" ('\r') 符. ** 结论 1 **: 这样在 windows 的记事本中打开 Unix 格式的文件时, 因为文件中没有 '\r', 所以无法正常显示. 结果就会把所有的内容显示在同一行中. ** 结论 2 **: UtraEdit 等工具会自动检测文件中是否包含 '\r', 当检查行末缺少 '\r'时, 一般它会提示 要求进行 Unix 到 Windows 格式的转换. (相信大家都遇到这个提示信息). ** 结论 3 **: UtraEdit 和 vi 等工具, 在保存文件时会自动依照文件原来的格式进行保存. 即: 如打开的如是 windows 格式它会把文件依然按 windows 格式保存 (不进行自动转换). 如打开的如是 unix 格式它会把文件依然按 unix 格式保存 (不进行自动转换). ** 结论 4 **: 向 UtraEdit 打开的 Unix 格式文件中, 通过粘贴板 "粘贴" Windows 格式的若干片断行时 (或反之, 即向 Windows 格式文件中, 通过粘贴板 "粘贴" Unix 格式的若干片断行时), 代码片断中的 "回车换行符" "不会" 自动转换成单个 "换行" 符(反之亦然). 这样, 该文件中就会出现 "回车符" 与 "回车换行符" 互相夹杂. 即, 文件中既有单独的 "回车符" 也有 成对的 "回车换行符". ** 结论 5 **: vi 编辑器等, 既能正确显示"规则"的 Unix 格式文件, 也能正确显示"规则"的 Windows 格式文件, 但, 对包含单独的 "回车符", 同时成对的 "回车换行符"的不规则文件 (产生原因见结论 4), vi 将把回车符以 ^M 的形式显示. 解决方法: 使用类似问题 2 提供的解决方法即可解决, 不再骜述. 将 unix 转换成 Windows 格式时, 使用 unix2dos 或 win2unix -r(-r 代表反方向)即可. (4) 如何删除文件行尾的 空格 或 tab? 如何把文件中的 tab 转换成 空格, 或者把 空格 转换成 tab? 如何只转换行首 tab 转换成 空格? 问题分析: 出于各种需要, 特别是编辑 C/C++, Java 等源程序时, 常希望将源文件中的 tab 成空格, 或将空格转换成 tab, 同时删除行尾不必要的空格或 tab 等. 如果源程序的正文中字符串中包含"空格"或"tab"时, 则只希望只转换行首的"空格"或"tab". 解决方法: 如果是单个文件, 直接使用一些编辑器自带的转换功能转换. 如果是想批量转换, 不防试试 tab2sp 进行转换, 不仅适合批量文件, 还适合数据流. 方法一: 使用 UtraEdit 的转换功能, 即: (菜单)格式-->转换 TAB 为空格, ... ** 缺点 **: 不适合大量文件的批量作业. 方法二: tab2sp (适合 windows, 各种 unix 平台), 如 tab2sp -t -w8 xx.c (更多详细实例见后文) ** 优点 **: 适合大量文件的批量作业. 适应文件或流的二进制查看工具 fbin 3. 工具详解: fbin, win2unix, tab2sp 等对流或文件进行批量查看/转换 (1) 工具简介 fbin, win2unix, tab2sp 等工具对流或文件进行批量查看/转换, 适合 Windows 和 各种 Unix 平台. (2) fbin - 查看流/文件的二进制格式 在命令行上键入下面命令即可查看在线帮助(部分内容未列出) $ fbin --help fbin - display file with hex format, version 1.0.4 Copyright(C) eyBuild Group, 2005, 2006. All Rights Reserved. , eybuild@hotmail.com Usage: fbin [options] [fname [0x][offset] [maxlen] | [file1] ...] -h --help - show this help -w[num] - specify word-width [2/4], default 2 -p - pause for every screen -v - verbose mode -l - process file list replace 'fname' ... fname - file name to display offset - hex number, '0x' is optional. offset >= 0 from the begining of input file, offset for /F %I in ('dir /w /b /s /A:-D eybuild\bin') do fbin -w2 -v -l %I | more (3) win2unix - Windows 与 Unix 文件格式互转换工具 在命令行上键入下面命令即可查看在线帮助(部分内容未列出) $ win2unix --help win2unix - translate file between windows and unix format, version 1.0.5 Usage: win2unix [options] [[src] [dst] | [file1] ...] -h --help - show this help -r - translate file from unix format to windows -v - verbose mode -l - process file list replace 'src' & 'dst' pair src - source file or dectory dst - destination file or dectory EXAMPLES: win2unix foo.txt convert unix to windows format: win2unix -r -b src.txt dst.txt process file list: win2unix -v -l f1 f2 f3 f4 f5 f6 例1. Unix 格式转换成 Windows 格式: $ win2unx -r fbin.c 查看二进制结果如下, 与fbin中的"例1"对比容易发现, 第3行中原来的0A0A(两个"换行符") 被转换成了 0D0A0D0A (两对"回车换行符"). $ fbin fbin.c 0 40 00000000: 2F2A 2066 6269 6E2E 6320 2D20 6C69 7374 /* fbin.c - list 00000010: 2066 696C 6520 7769 7468 2062 696E 6E61 file with binna 00000020: 7279 2066 6F72 6D61 7420 2A2F 0D0A 0D0A ry format */.... 00000030: 2F2A 2043 6F70 7972 6967 6874 2843 2920 /* Copyright(C) 例2. Windows 格式转换成 Unix 格式: $ win2unx fbin.c 查看二进制结果如下, 与 "例1"对比容易发现, 第3行中原来的0D0A0D0A (两对"回车换行符") 被转换成了 0A0A(两个"换行符") $ fbin fbin.c 0 40 00000000: 2F2A 2066 6269 6E2E 6320 2D20 6C69 7374 /* fbin.c - list 00000010: 2066 696C 6520 7769 7468 2062 696E 6E61 file with binna 00000020: 7279 2066 6F72 6D61 7420 2A2F 0A0A 2F2A ry format */../* 00000030: 2043 6F70 7972 6967 6874 2843 2920 6579 Copyright(C) ey 例3. 批量转换查找(包含子目录)到的所有文件: $ find src -name "*.c" | xargs win2unix -l -v convert 'win' to 'unix' format ... src/csp2bin.c src/tab2sp.c src/fbin.c src/win2unix.c ... Windos 命令如下命令, 会得到相同结果: E:\> for /F %I in ('dir /w /b /s /A:-D src/*.c') do win2unix -v -l %I (4) tab2sp - tab 与 空格的互转换 在命令行上键入下面命令即可查看在线帮助(部分内容未列出) $ win2unix --help tab2sp - convert tabs to spaces or revert, version 1.0.2 Usage: tab2sp [options] [[src] [dst] | [file1] ...] -h --help - show this help -r - convert spaces to tabs -p - only convert line prefixed spaces or tabs -t - remove tail tabs and spaces -w[num] - specify tab width [1-8], default 4 -no - don't do any convert -v - verbose mode -l - process file list replace 'src' & 'dst' pair src - source file dst - destination file EXAMPLES: tab2sp -r for /F %I in ('dir /w /b /s /A:-D src/*.c') do tab2sp -l -v -w8 -p %I ( ~完~! ) |
