首页 > 编程 > BAT > 正文

批处理处理文本文件去重复实现代码

2020-07-26 20:11:36
字体:
来源:转载
供稿:网友

最近需要将重复的内容去掉,所以就想到了使用bat或vbs实现,没想到网上已经有人写好了,测试也正好学习一下

使用方法:把文本拖到批处理上就行了。。。

@echo off:: Code by oicu#lsxk.org 2007/11/29rem chcp 437>nul:: 看情况使用,utf-8编码的文件不能少了chcp命令,一般无需使用,:: 但无论是否使用都不支持utf-16的文件。:: pushd "%~dp1":: 如果不用pushd和popd,文件都要用绝对路径不能只用文件名。if "%~1"=="" goto :EOFset outputfile=%~dpn1_output%~x1type nul>"%outputfile%"echo Waiting...for /F "tokens=1* delims=:" %%i in ('findstr /n .* "%~1"') do (  findstr /B /E /C:"%%j" "%outputfile%">nul 2>&1 || echo.%%j>>"%outputfile%")pausestart "" notepad "%outputfile%":: popdexit

【 在 oicu (Oh! I see you!) 的大作中提到: 】
: 去重复倒是行。。缺点就是慢和保留原有的空行了。

以下是vbs实现的代码

以下是这个脚本的源代码,复制后另存为vbs后缀的文件,双击即可运行。文件要放在C盘根下的Text.TXT,请特别注意:文本中一行一条记录,不要有空行。

Const adOpenStatic = 3Const adLockOptimistic = 3Const adCmdText = &H0001 Set objConnection = CreateObject("ADODB.Connection")Set objRecordSet = CreateObject("ADODB.Recordset")strPathToTextFile = "C:/"strFile = "Test.txt"objConnection.Open "Provider=Microsoft.Jet.OLEDB.4.0;" & _   "Data Source=" & strPathtoTextFile & ";" & _     "Extended Properties=""text;HDR=NO;FMT=Delimited"""objRecordSet.Open "Select DISTINCT * FROM " & strFile, _  objConnection, adOpenStatic, adLockOptimistic, adCmdTextDo Until objRecordSet.EOFSet objFSO = CreateObject("Scripting.FileSystemObject")   set Fp=objFSO.OpenTextFile("C:/test1.txt",8,True,0)   fp.WriteLine objRecordSet.Fields.Item(0).Value   fp.close   set objFSO = nothing   objRecordSet.MoveNextLoop

发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表