多线程处理大量文件

上周做了一个多线程处理大量文件的功能 一是记录 二是分享 三是请博友指出不足 更多的了解多线程。

1.任务：将大量(大约5G)一目录下有日期规则命名的html文件按照年月日三个层次目录存放，目的是为了提高文件检索效率。

2.具体实现：开启10个线程 将文件拷贝到目标文件夹；不符合要求的文件拷贝到别处；记录错误信息和不符合要求的信息；循环判断状态 执行完毕给出提示。

3.开始设想和后来出现问题：

开了10个线程 处理所有文件，如果一文件已在目标文件下存在 则不处理，但是线程间几乎是同时进行的 这样就会报错"该文件已被另一线程占用"。这样处理是不行的 于是就改善了。让每个线程按顺序处理固定条数的文件，则每个线程不会处理处理同个文件。

4.代码实现：

　声明变量

    /    /App.config 配置路径        //源文件路径        string sourcePath = ConfigurationManager.AppSettings["sourcePath"];        //目标路径        string toPath = ConfigurationManager.AppSettings["toPath"];        //错误文件存放路径        string errorLogPath = "//log";        //文件总数        int totalFileCount;        //复制文件数        PRivate int OperaFileCount;        //未复制文件数        int notCopyFileCount;        //文件名称过长文件数        int longNameFileCount;        //线程数        int threadCount = 10;

将所有文件名称进行分批处理 分页方法

        /// <summary>        /// 将所有文件名称进行分页        /// </summary>        /// <param name="PageSize">每页条数</param>        /// <param name="CurPage">当前页</param>        /// <param name="objs">集合</param>        /// <returns></returns>        public static List<string> QueryByPage(int PageSize, int CurPage, List<string> objs)        {            return objs.Take(PageSize * CurPage).Skip(PageSize * (CurPage - 1)).ToList();        }              public class Page        {            public int pageIndex { get; set; }            public int pageCount { get; set; }            public int pageSize { get; set; }            public List<string> list { get; set; }        }

拷贝文件的方法

        #region DoWork方法        private string errorFieName;        public void DoWork(object obj)        {            Object locker = new object();            Page page = (Page)obj;            Console.WriteLine(ThreadName());            int PageSize = page.pageSize;            int CurPage = page.pageIndex;            var grouList = QueryByPage(PageSize, CurPage, page.list);            foreach (string file in grouList)            {                string fileName = Path.GetFileName(file);                errorFieName = fileName;                if (fileName != null && fileName.Length != 18)                {                    Console.WriteLine(fileName + "文件名称不符合要求!");                    CopyErrorFile(fileName);                    Write(fileName + "文件名称不符合要求!");                    continue;                }                //Console.WriteLine(fileName.Length);                try                {                    //截取文件名称 源文件名称规则 ABC2014200...html 意思是：2014年第200天 可以推算出年月日                    string subYearMonth = fileName.Substring(3, 5);                    int yearNum = 0;                    int dayNum = 0;                    int.TryParse(subYearMonth.Substring(0, 2), out yearNum);                    int.TryParse(subYearMonth.Substring(2, 3), out dayNum);                    int.TryParse("20" + yearNum, out yearNum);                    if (yearNum < 1 || dayNum < 1)                    {                        Console.WriteLine(fileName + "文件名称不符合要求!");                        CopyErrorFile(fileName);                        //Write(fileName + "文件名称不符合要求!");                        continue;                    }                    //声明日期                    DateTime date = new DateTime();                    date = date.AddYears(yearNum).AddYears(-1);                    date = date.AddDays(dayNum).AddDays(-1);                    string fullSavePath = string.Format("{0}//{1}//{2}//{3}//", toPath, yearNum, date.Month, date.Day);                    if (!Directory.Exists(fullSavePath))                    {                        Directory.CreateDirectory(fullSavePath);                    }                    lock (fullSavePath)                    {                        File.Copy(file, fullSavePath + fileName, true);                        operaFileCount++;                        //Write("处理完成：" + fileName);                    }                }                catch (Exception ex)                {                    Console.WriteLine("文件名称：" + errorFieName + "处理错误：" + ex.Message);                    Write(ex.Message);                    throw new Exception(ex.Message);                }            }        }        #endregion    

循环执行线程

        public void CopyFile()        {            //开始方法时删除上次记录            DeleteLog();            List<Thread> threadList = new List<Thread>(); ;            for (int i = 0; i < threadCount; i++)            {                try                {                    if (!Directory.Exists(toPath))                    {                        Directory.CreateDirectory(toPath);                    }                    //string[] fileNames = Directory.GetFileSystemEntries(sourcePath);                    string[] fileNames = Directory.GetFiles(sourcePath);                    var fileNameList = fileNames.ToList();                    totalFileCount=fileNames.Length;                                       //共threadCount个线程 每个线程执行oneThreadNameCount条                    int oneThreadNameCount = (int)Math.Ceiling(((double)fileNames.Length) / threadCount);                    Page page;                    //当前执行的线程                    page = new Page { pageIndex = i + 1, pageSize = oneThreadNameCount, list = fileNameList };                    threadList.Add(new Thread(new ParameterizedThreadStart(DoWork)));                    threadList[i].Start(page);                    threadList[i].Name = i + "_thread";                }                catch (Exception ex)                {                    Console.WriteLine("错误信息：" + ex.Message);                    Write(ex.Message);                }            }            //判断线程执行情况            bool isRanning;            bool isComplete = false;            while (!isComplete)            {                //2秒判断一次                Thread.Sleep(2000);                isRanning = false;                foreach (var item in threadList)                {                    if (item.ThreadState == ThreadState.Running)                    {                        isRanning = true;                    }                }                if (!isRanning)                 {                     isComplete = true;                    Console.WriteLine();                    Console.WriteLine("处理结果 共" + totalFileCount+"；已处理："+operaFileCount);                    Console.WriteLine("不符合要求:" + notCopyFileCount + "(已拷贝到errorfile文件夹)；无法拷贝名称过长文件：" + longNameFileCount);                    Console.WriteLine("请查看文件夹" + toPath);                }            }            Console.ReadKey();        }

辅助方法

        #region copy不符合要求文件        private void CopyErrorFile(string fileName)        {            //实际长度超过222报错，并且无法抛出异常            if (fileName.Length > 180)            {                longNameFileCount += 1;                Write(fileName + "名称过长!");                return;            }            notCopyFileCount += 1;            string strErrorPath  =toPath+"//errorfile";            if(!Directory.Exists(strErrorPath)) Directory.CreateDirectory(strErrorPath);            File.Copy(sourcePath+"//"+fileName, toPath+"//errorfile//" + fileName, true);        }        #endregion        private void DeleteLog()        {            try            {                if (!Directory.Exists(toPath + errorLogPath)) return;                foreach (string var in Directory.GetFiles(toPath + errorLogPath))                {                    File.Delete(var);                }            }            catch            {                //Directory.CreateDirectory(toPath + errorLogPath);            }        }        private void Write(string message)        {            object obj = new object();            lock (obj)            {                try                {                    string logPath=toPath+errorLogPath;                    if (!Directory.Exists(logPath)) Directory.CreateDirectory(logPath);                    Thread primaryThread = Thread.CurrentThread;                    //当前线程名称                    stri