`
dyllove98
  • 浏览: 1376020 次
  • 性别: Icon_minigender_1
  • 来自: 济南
博客专栏
73a48ce3-d397-3b94-9f5d-49eb2ab017ab
Eclipse Rcp/R...
浏览量:38145
4322ac12-0ba9-3ac3-a3cf-b2f587fdfd3f
项目管理checkList...
浏览量:78284
4fb6ad91-52a6-307a-9e4f-816b4a7ce416
哲理故事与管理之道
浏览量:131405
社区版块
存档分类
最新评论

java千万级别数据处理(2)-千万级别FTP下载

阅读更多

 

欢迎大家访问我的个人网站 萌萌的IT人,后续所有的文章都会在此发布

--------------------------------------------------------------------------------------------

            这个也是以前做过的一个程序,目的主要是去ftp主机(最多100左右)去取xx数据文件.

 

            千万级别只是个概念,代表数据量等于千万或者大于千万的数据

            本分享不牵扯分布式采集存储之类的.是在一台机器上处理数据,如果数据量很大很大的话,可以考虑分布式处理,如果以后我有这方面的经验,会及时分享的.

 

1、程序采用的ftp工具, apache 的 commons-net-ftp-2.0.jar

 

2、千万级别ftp核心关键的部分--列目录到文件,只要是这块做好了,基本上性能就没有太大的问题了.

 

  可以通过apache 发送ftp命令 "NLST" 的方式列目录到文件中去

 

  # ftp列目录执行的命令 以环境变量的配置优先,不配置则使用默认的列目录方式 NLST

  # DS_LIST_CMD = NLST 
  public File sendCommandAndListToFile(String command,String localPathName) throws   IOException 
        {
                try {
                        return client.createFile(command, localPathName);
                } catch (IOException e) {
                        log.error(e);
            throw new IOException("the command "+command +" is incorrect");
                }
        }

 

            当然应该还有其他形式的,大家可以自己研究一下

 

            十万级别以上的数据量的话千万不要使用下面这种方式,如果用的话 ==== 找死

 

             FTPFile[] dirList = client.listFiles();

  

3、分批次从文件中读取 要下载的文件名.  加载到内存中处理,或者读取一个文件名就下载一个文件,不要把所有的数据都加载到内存,如果很多的话会出问题

   

            为啥要分批次?

            因为是大数据量,如果有1000W条记录,列出来的目录文件的大小 1G以上吧

 

 

4、文件下载的核心代码----关于文件的断点续传, 获得ftp文件的大小和本地文件的大小进行判断,然后使用ftp提供的断点续传功能

            下载文件一定要使用二进制的形式

            client.enterLocalPassiveMode();// 设置为被动模式

            ftpclient.binary();  // 一定要使用二进制模式

 

   

   

/** 下载所需的文件并支持断点续传,下载后删除FTP文件,以免重复
         * @param pathName 远程文件
         * @param localPath 本地文件
         * @param registerFileName 记录本文件名称目录
         * @param size 上传文件大小
         * @return true 下载及删除成功
         * @throws IOException 
         * @throws Exception
         */
        public boolean downLoad(String pathName, String localPath) throws IOException {
                boolean flag = false;
                File file = new File(localPath+".tmp");//设置临时文件
                FileOutputStream out = null;
                try{
                    client.enterLocalPassiveMode();// 设置为被动模式
                    client.setFileType(FTP.BINARY_FILE_TYPE);//设置为二进制传输
                        if(lff.getIsFileExists(file)){//判断本地文件是否存在,如果存在并且长度小于FTP文件的长度时断点续传;返之新增
                                long size = this.getSize(pathName);
                                long localFileSize = lff.getSize(file);        
                                if(localFileSize > size){
                                        return false;
                                }
                                out = new FileOutputStream(file,true);
                                client.setRestartOffset(localFileSize);
                                flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out);
                                
                                out.flush();
                        } else{
                                out = new FileOutputStream(file);
                                flag = client.retrieveFile(new String(pathName.getBytes(),client.getControlEncoding()),out);
                                
                                out.flush();
                        }
                        
                }catch(IOException e){
                        log.error(e);
            log.error("file download error !");
                        throw e;
                }finally{
                        try{
                                if(null!=out)
                                out.close();
                                if(flag)
                                        lff.rename(file, localPath);
                        }catch(IOException e){
                                throw e;
                        }
                }
                return flag;
        }
    /**
         * 获取文件长度
         * @param fileNamepath 本机文件
         * @return
         * @throws IOException
         */
        public long getSize(String fileNamepath) throws IOException{
                FTPFile [] ftp = client.listFiles(new String(fileNamepath.getBytes(),client.getControlEncoding()));
                return ftp.length==0 ? 0 : ftp[0].getSize();
        }

        检测本地文件是否已经下载,如果下载文件的大小.

       /**
         *本地文件的 获取文件的大小
         * @param file
         * @return
         */
        public long getSize(File file){
                long size = 0;
                if(getIsFileExists(file)){
                        size = file.length();
                }
                return size;
        }


 

5、因为程序要跑最多100多个线程,在线程监控上做了一些处理,可以检测那些死掉的线程,并及时的拉起来。

            t.setUncaughtExceptionHandler(new ThreadException(exList));

原理:给每个线程添加 UncaughtExceptionHandler,死掉的时候把线程对应的信息加入到一个list里面,然后让主线程每隔一段时间扫描一下list,如果有数据,直接重新建一个线程运行即可

 

6、如果程序是常驻内存的话,别忘记了在finally中关闭掉 不用的ftp连接

 

7、做大数据库采集程序必须考虑到的一件事情   磁盘空间已满的处理

 

       java虚拟机对于磁盘空间已满,在英文环境下的  linux aix 机器上 一般报

       There is not enough space in the file system

       中文环境下 一般报 "磁盘空间已满"

       大家可以使用下面的代码进行验证

       

 

                         

//检测磁盘控件是否已满的异常
   //linux aix There is not enough space in the file system
                        // window There is not enough space in the file system
                        if(e.toString().contains("enough space")||e.toString().contains("磁盘空间已满"))
                        {
                                log.error("channel "+channel_name + " There is not enough space on the disk ");
                                Runtime.getRuntime().exit(0);
                        }

 

 

         欢迎访问我的个人博客   java进阶网     www.javady.com

            <千万级别数据生成xml文件>  原创文章 by dyllove98 @ http://jlins.iteye.com 转载请表明出处。

 

23
23
分享到:
评论
21 楼 dyllove98 2012-04-25  
xpp02 写道
zcw_java 写道


谢谢支持
20 楼 dyllove98 2012-04-25  
高处不胜寒,躺着也会中枪
19 楼 dyllove98 2012-04-25  
543089122 写道
为什么要弄100多个线程呢,就算满负荷运行内核*2倍的线程就足以。
线程死掉是程序异常没捕获好,捕获好了怎么会死掉。。。
线程开销和切换本就很大,还弄个监控死掉了线程就新开 。。。晕倒

去100个地市的主机去取数据,线程不会死掉,如果真的死掉是因为配置的用户名,密码错误等,这个时候直接关闭当前线程,等过了一段时间让管理员修改密码之后会自动拉起线程。
18 楼 543089122 2012-04-25  
为什么要弄100多个线程呢,就算满负荷运行内核*2倍的线程就足以。
线程死掉是程序异常没捕获好,捕获好了怎么会死掉。。。
线程开销和切换本就很大,还弄个监控死掉了线程就新开 。。。晕倒
17 楼 dyllove98 2012-04-24  
ximenchuifeng 写道
好文。。

谢谢支持
16 楼 dyllove98 2012-04-24  
zcw_java 写道

谢谢支持
15 楼 dyllove98 2012-04-24  
hotsmile 写道
代码不错!!!
用开源就是好!!!

共享才是关键。。。。大家都了解的才是最好的.
14 楼 hotsmile 2012-04-24  
代码不错!!!
用开源就是好!!!
13 楼 dyllove98 2012-04-24  
long_yu2 写道
代码借用一下,正好有ftp的功能要开发 

可以呀,o(∩_∩)o...
12 楼 ximenchuifeng 2012-04-24  
好文。。
11 楼 long_yu2 2012-04-24  
代码借用一下,正好有ftp的功能要开发 
10 楼 dyllove98 2012-04-24  
walldr2161 写道
弱弱的问下楼主:你这千万级的数据是怎么存储的?分多个文件存储?还是单个文件存储的?

每个文件 不到4K,大约有几千万个文件
9 楼 walldr2161 2012-04-24  
弱弱的问下楼主:你这千万级的数据是怎么存储的?分多个文件存储?还是单个文件存储的?
8 楼 qcyycom 2012-04-23  
持续关注,谢谢分享
7 楼 dyllove98 2012-04-23  
test_touch 写道
下一篇是什么

千万级别的数据库转移或者读取和处理大文件
6 楼 test_touch 2012-04-23  
下一篇是什么
5 楼 my_queen 2012-04-23  

记录下
4 楼 xpp02 2012-04-23  
zcw_java 写道

3 楼 dyllove98 2012-04-23  
男人四十 写道
http://www.easy518.com/portal.php

公司内网暂时砍不了,晚上回家去看
2 楼 zcw_java 2012-04-23  

相关推荐

    java开源包10

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    JAVA上百实例源码以及开源项目源代码

    2个目标文件,FTP的目标是:(1)提高文件的共享性(计算机程序和/或数据),(2)鼓励间接地(通过程序)使用远程计算机,(3)保护用户因主机之间的文件存储系统导致的变化,(4)为了可靠和高效地传输,虽然用户...

    JAVA上百实例源码以及开源项目

    2个目标文件,FTP的目标是:(1)提高文件的共享性(计算机程序和/或数据),(2)鼓励间接地(通过程序)使用远程计算机,(3)保护用户因主机之间的文件存储系统导致的变化,(4)为了可靠和高效地传输,虽然用户...

    java开源包1

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包11

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包2

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包6

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包9

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包4

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包101

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包5

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包8

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包3

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    java开源包7

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    Java资源包01

    Jackson 是一个 Java 用来处理 JSON 格式数据的类库,性能非常好。 哈希计算工具 java-hash 用来计算 MD5、SHA 哈希算法的 Java 类库,支持 "MD5", "SHA", "SHA-1", "SHA-256", "SHA-384", "SHA-512". 高性能RPC...

    Java典型模块

    第2章 Java面向对象编程 2.1 面向对象的一些概念 2.1.1 面向对象涉及的概念 2.1.2 类和对象 2.2 面向对象的一些特性 2.2.1 继承特性 2.2.2 多态特性 2.2.3 封装特性 2.3 Java中实现的面向对象特性 2.3.1 定义类 ...

    TCP-IP技术大全

    1.1.1 通信处理层次化 2 1.1.2 OSI参考模型 3 1.1.3 模型的使用 5 1.2 TCP/IP参考模型 7 1.3 小结 7 第2章 TCP/IP和Internet 8 2.1 一段历史 8 2.1.1 ARPANET 8 2.1.2 TCP/IP 9 2.1.3 国家科学基金会(NSF) 9 2.1.4 ...

Global site tag (gtag.js) - Google Analytics