1、Spring 中集成camel-ftp
为平遥等地区用户提供了全套网页设计制作服务,及平遥网站建设行业解决方案。主营业务为做网站、网站设计、平遥网站设计,以传统方式定制建设网站,并提供域名空间备案等一条龙服务,秉承以专业、用心的态度为用户提供真诚的服务。我们深信只要达到每一位用户的要求,就会得到认可,从而选择与我们长期合作。这样,我们也可以走得更远!
近期项目中涉及到定期获取读取并解析ftp服务器上的文件,自己实现ftp-client的有些复杂,因此考虑集成camel-ftp的方式来解决ftp文件的下载问题。自己则专注于文件的解析工作.
demo: https://github.com/LuckyDL/ftp-camel-demo
1.1、POM引用
org.apache.camel camel-spring-boot-starter 2.22.1 org.apache.camel camel-ftp 2.22.1
注意:在选择版本的时候,如果SpringBoot版本是1.5.10.RELEASE的话,那么camel的版本最高只能使用2.21.2,使用2.22版本将会报错。经测试的配套关系如下:
SrpingBoot | Camel |
---|---|
1.5 | <=2.21.2 |
2.0 | >=2.22.x |
其他情况都会出现错误.
1.2、SpringBoot application.yml配置
ftp: addr: 172.18.18.19:21 # ftp地址、端口 name: ftpuser password: ftp2018 options: password=${ftp.password}&readLock=rename&delay=10s&binary=true&filter=#zipFileFilter&noop=true&recursive=true url: ftp://${ftp.name}@${ftp.addr}/?${ftp.options} # 本地下载目录 local-dir: /var/data # 后台运行进程 camel: springboot: main-run-controller: true management: endpoint: camelroutes: enabled: true read-only: true
配置说明:
更多参数配置见官方手册
1.3、配置路由
要配置从远端服务器下载文件到本地,格式如下,from内部为我们在上面配置的url,to为本地文件路径。
@Component public class DownloadRoute extends RouteBuilder { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DownloadRoute.class); @Value("${ftp.server.info}") private String sftpServer; @Value("${ftp.local.dir}") private String downloadLocation; @Autowired private DataProcessor dataProcessor; @Override public void configure() throws Exception{ from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); } }
说明:
若将from配置为本地地址,to配置为远端地址,则可以实现向远端服务器上传文件
process是数据处理器,如果仅仅是下载文件到本地,那么就不需要该配置。
也可以配置多条路由也处理不同的业务:
@Override public void configure() throws Exception{ // route1 from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); // route2 from(xxx).to(xxxx); // route3 from(xxxx).to(xxx).process(xxx); }
1.4、配置文件过滤
如果ftp服务器上有很多文件,但是我们需要的只是其中的一种,全部下载下来,有业务层来实现过滤肯定不合适,我们可以使用camel-ftp的文件过滤器,通过url中的filter来指定,如“filter=#zipFileFilter”,
用户需要实现GenericFileFilter接口的accept方法。
例如我们只需要下载后缀名为.zip的压缩包到本地,过滤器的编写方法如下,因为我要递归扫描子目录,因此类型为目录的文件也需要允许通过。
/** * camel ftp zip文件过滤器 */ @Component public class ZipFileFilter implements GenericFileFilter { @Override public boolean accept(GenericFile file) { return file.getFileName().endsWith(".zip") || file.isDirectory(); } }
1.5、文件处理器
文件处理器就是我们对下载到本地的文件进行处理的操作,比如我们可能需要对下载的文件重新规划目录;或者解析文件并进行入库操作等。这就需要通过实现Processer的process方法。
本文中的demo就是通过processor来解析zip包中的文件内容:
@Component public class DataProcessor implements Processor { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DataProcessor.class); @Value("${ftp.local-dir}") private String fileDir; @Override public void process(Exchange exchange) throws Exception { GenericFileMessageinFileMessage = (GenericFileMessage ) exchange.getIn(); String fileName = inFileMessage.getGenericFile().getFileName(); String file_path = fileDir + '/' + fileName; readZip(file_path); } ... // 省略数据处理方法 }
2、参考资料
关于camel ftp的各个参数配置,参见官方手册:http://camel.apache.org/ftp2.html
此处需要注意的是,camel ftp手册里面只写了ftp独有的一些配置项,camel-ftp组件继承自camel-file,手册里面有说明,就一句话,不注意就可能忽略了,笔者就是没注意,被递归扫描子目录的问题折腾了2天(阅读要细心o(╥﹏╥)o)。。。因此有一些参数配置项可能在camel-ftp手册里面找不到,请移步至:http://camel.apache.org/file2.html
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持创新互联。