网站建设资讯

NEWS

网站建设资讯

前后端分离的爬虫小项目

前后端分离的爬虫小项目-----EncycProject


EncycProject项目使用现在流行的前后端分离技术;此项目创作目的是实践。利用此项目快速搭建环境和快速入门。该项目的主线是建立宠物社区网站。目前该项目完成第一个模块:宠物百科;剩余模块陆续开发中。(此项目可以变更,第一模块耦合度低)

成都网站建设哪家好,找创新互联!专注于网页设计、成都网站建设公司、微信开发、小程序开发、集团成都定制网站等服务项目。核心团队均拥有互联网行业多年经验,服务众多知名企业客户;涵盖的客户类型包括:广告推广等众多领域,积累了大量丰富的经验,同时也获得了客户的一致赞赏!


项目地址

项目GitHub地址

1 项目效果

1.1 效果图:

爬虫数据
前后端分离的爬虫小项目
数据库数据
前后端分离的爬虫小项目
前端
前后端分离的爬虫小项目
前后端分离的爬虫小项目

待续

2 项目结构图

3.1 框架整合

3.1.1 pom.xml


    4.0.0
    
        org.springframework.boot
        spring-boot-starter-parent
        2.1.5.RELEASE
         
    
    com.threadnew
    encycproject
    0.0.1-SNAPSHOT
    encycproject
    Demo project for Spring Boot

    
        1.8
    

    
        
            org.springframework.boot
            spring-boot-starter-web
        
        
            org.mybatis.spring.boot
            mybatis-spring-boot-starter
            2.0.1
        

        
            org.springframework.boot
            spring-boot-devtools
            runtime
            true
        
        
            MySQL
            mysql-connector-java
            runtime
        
        
            org.springframework.boot
            spring-boot-configuration-processor
            true
        
        
            org.projectlombok
            lombok
            true
        
        
            org.springframework.boot
            spring-boot-starter-test
            test
        
        
        
            us.codecraft
            webmagic-core
            0.7.3
        
        
            us.codecraft
            webmagic-extension
            0.7.3
        
        
        
        
            com.alibaba
            druid-spring-boot-starter
            1.1.17
        
        
        
        
            org.springframework.boot
            spring-boot-starter-data-solr
        

    

    
        
            
                org.springframework.boot
                spring-boot-maven-plugin
            
        
    


3.1.2 applicaton.yml
spring:
  data:
    solr:
      host: http://localhost:8080/solr
  datasource:
    name: encycproject
    type: com.alibaba.druid.pool.DruidDataSource
    #druid相关配置
    druid:
      #监控统计拦截的filters
      filters: stat
      driver-class-name: com.mysql.cj.jdbc.Driver
      #基本属性
      url: jdbc:mysql://127.0.0.1:3306/animal?useUnicode=true&characterEncoding=utf8&useSSL=false&serverTimezone=GMT%2B8
      username: root
      password: 1234
      #配置初始化大小/最小/最大
      initial-size: 1
      min-idle: 1
      max-active: 20
      #获取连接等待超时时间
      max-wait: 60000
      #间隔多久进行一次检测,检测需要关闭的空闲连接
      time-between-eviction-runs-millis: 60000
      #一个连接在池中最小生存的时间
      min-evictable-idle-time-millis: 300000
      validation-query: SELECT 'x'
      test-while-idle: true
      test-on-borrow: false
      test-on-return: false
      #打开PSCache,并指定每个连接上PSCache的大小。oracle设为true,mysql设为false。分库分表较多推荐设置为false
      pool-prepared-statements: false
      max-pool-prepared-statement-per-connection-size: 20
server:
  port: 8100
3.1.3 前端的axios的代理

在config文件夹下的index.js中的proxyTable下添加如下代码

 '/apis':{
        target: 'http://192.168.43.103:8100/',  // 后台api
        changeOrigin: true,  //是否跨域
        // secure: true,
        pathRewrite: {
          '^/apis': ''   //需要rewrite的,
        }
      }
 > 未完待续

分享文章:前后端分离的爬虫小项目
路径分享:http://cdweb.net/article/gdidee.html