代码扫描工具

代码扫描工具
1. sonar
2.ali的stc平台用的是:findbugs 和 pmd

参考:

测试框架:使用SONAR分析代码质量

配置sonar、jenkins进行持续审查


1、Sonar介绍

Sonar是一个用于代码质量管理的开源平台,用于管理Java源代码的质量。通过插件机制,Sonar 可以集成不同的测试工具,代码分析工具,以及持续集成工具,比如pmd-cpd、checkstyle、findbugs、Jenkins。通过不同的插件对这些结果进行再加工处理,通过量化的方式度量代码质量的变化,从而可以方便地对不同规模和种类的工程进行代码质量管理。

同时 Sonar 还对大量的持续集成工具提供了接口支持,可以很方便地在持续集成中使用 Sonar。

此外,Sonar 的插件还可以对 Java 以外的其他编程语言提供支持,对国际化以及报告文档化也有良好的支持。


它主要的核心价值体现在如下几个方面:

    检查代码是否遵循编程标准:如命名规范,编写的规范等。
    检查设计存在的潜在缺陷:SonarQub e 通 过插 件 F indbugs、Checkstyl e 等 工具检测代码存在的缺陷。
    检测代码的重复代码量:SonarQub e 可 以展示项目中存在大量复制粘贴的代码。
    检测代码中注释的程度:源码注释过多或者太少都不好,影响程序的可读可理解性。
    检测代码中包、类之间的关系:分析类之间的关系是否合理,复杂度情况。

SonarQub e 平 台是 由 4 个 部分组成:

    SonarQube Server
    SonarQube Database
    SonarQube Plugins
    SonarQube Scanner

2、配置数据库

Apache Derby 是Sonar自带并且默认安装使用的数据库,此外Sonar对如下数据库提供支持:MySQL 5.x, Oracle 10g XE, Postgresql, MS SqlServer等,本文以mysql为例介绍如何配置数据库: 

1)创建数据库

在mysql中执行如下脚本创建数据库及mysql用户

CREATE DATABASE sonar CHARACTER SET utf8 COLLATE utf8_general_ci;
 
CREATE USER 'sonar' IDENTIFIED BY 'sonar';
GRANT ALL ON sonar.* TO 'sonar'@'%' IDENTIFIED BY 'sonar';
GRANT ALL ON sonar.* TO 'sonar'@'localhost' IDENTIFIED BY 'sonar';
FLUSH PRIVILEGES;

2)编辑${SONAR_HOME}/conf/sonar.properties配置数据库:

sonar.jdbc.username:                       sonar
sonar.jdbc.password:                       sonar
sonar.jdbc.url:                            jdbc:mysql://localhost:3306/sonar?useUnicode=true&characterEncoding=utf8&rewriteBatchedStatements=true

# Optional properties
sonar.jdbc.driverClassName:                com.mysql.jdbc.Driver

3)配置DB驱动包

如果使用Oracle数据库,必须手动复制驱动类到${SONAR_HOME}/extensions/jdbc-driver/oracle/目录下。其它支持的数据库默认提供了驱动,http://docs.codehaus.org/display/SONAR/Analysis+Parameters 列举了一些常用的配置及默认值.

4)常见错误及解决方法

添加语言包后,启动报错分析:

下载安装 sonar-l10n-zh-plugin-1.4.jar 语言包(http://docs.codehaus.org/display/SONAR/Chinese+Pack),重新打包部署后,后台报错如下:

Error in Sonar.log : 2012.10.25 14:39:15 INFO org.sonar.INFO Register rules [squid/java]...2012.10.25 14:39:15 ERROR o.s.s.p.Platform The following rule (repository: squid) must have a description: Rule[id=,name=,key=ParsingError,configKey=ParsingError,plugin=squid,enabled=true,severity=MAJOR,cardinality=SINGLE]org.sonar.api.utils.SonarException: The following rule (repository: squid) must have a description: Rule[id=,name=,key=ParsingError,configKey=ParsingError,plugin=squid,enabled=true,severity=MAJOR,cardinality=SINGLE]at org.sonar.server.startup.RegisterRules.validateRule(RegisterRules.java:131) ~[classes/:na]at org.sonar.server.startup.RegisterRules.registerRepository(RegisterRules.java:103) ~[classes/:na]at...

(可参考http://jira.codehaus.org/browse/SONAR-3910)

解决方法:将 extensions\plugins\ 目录下的jar包全部删除,重新加入本地语言包后,重新打包部署即可。


3、安装、配置Sonar

Sonar的运行需要 JDK 1.5+ , 从 http://www.sonarqube.org/downloads/ 下载sonar zip文件,本文以3.6版本为例。

创建运行sonar的CentOS账户sonar,并设置账户密码:

# useradd sonar # passwd sonar

使用sonar账户登录CentOS。

Sonar默认集成了jetty容器,可以直接启动提供服务,也可以通过脚本构建为war包,部署在tomcat容器中。

1)直接启动

编辑.bash_profile,添加环境变量SONAR_HOME

$ vi $HOME/.bash_profile

修改成如下内容:

PATH=$PATH:$HOME/bin
SONAR_HOME=$HOME/sonar

export PATH SONAR_HOME

使环境变量生效

Source $HOME/.bash_profile

运行如下命令启动sonar,其它操作系统sonar均提供了启动脚本,不可以用root身份启动

$ ${SONAR_HOME}/bin/linux-x86-64/sonar.sh start

在浏览器中访问: http://localhost:9000/ ,运行界面如下:



Sonar默认的端口是”9000”、默认的上下文路径是”/”、默认的网络接口是”0.0.0.0”,默认的管理员帐号和密码为:admin/admin,这些参数都可以在配置文件中修改:
$ vi ${SONAR_HOME}/conf/sonar.properties

2)作为Web项目,部署到Tomcat等应用服务器中

a. 确保conf/sonar.properties、conf/wrapper.conf未被修改使用过

b. 执行如下命令生成war包,将生成的sonar.war部署到应用服务器中

$ ${SONAR_HOME}/war/build-war.sh

c. 启动Tomcat, 通过 http://localhost:8080/sonar 访问.

Tomcat安装配置参见:CenOS系统中安装Tomcat7并设置为自启动服务

4.启动服务
  

sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh stop ## 停止服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh start ## 启动服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh restart ## 重启服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh console ## 控制台启动 sudo tail -f /opt/sonarqube-6.2/logs/sonar.log ## 查看日志

5、配置插件
浏览器访问 http://centos:9000/sonar,用预设的管理员账号(admin/admin)登陆;
在线安装:进入插件中心 (Administration / System / Update Center / Available Plugins) 找到所需的插件,点击右侧的 “Install” 开始安装;


离线安装:在线安装容易失败,可尝试离线安装,下载插件 jar 文件至插件目录下,并重启 SonarQube 生效;
插件 jar 文件的下载地址,可以到在线安装页找到插件的 Homepage 再找 releases,如下:
- Git: 已自带安装;
- SVN: 已自带安装;
- Java: 已自带安装,Java 源代码解析,计算指标等;
- JavaScript: 已自带安装;
- Chinese Pack:SonarQube 页面汉化;
- Findbugs
- Checkstyle
- PMD
- SonarGraph

插件的离线安装脚本如下:


  1. cd /opt/sonarqube-6.2/extensions/plugins/
  2. sudo rm -rf sonar-csharp-plugin-*.jar
  3. sudo wget https://github.com/SonarQubeCommunity/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.13/sonar-l10n-zh-plugin-1.13.jar
  4. sudo wget https://github.com/SonarQubeCommunity/sonar-findbugs/releases/download/3.4.4/sonar-findbugs-plugin-3.4.4.jar
  5. sudo wget https://github.com/SonarQubeCommunity/sonar-checkstyle/releases/download/2.4/sonar-checkstyle-plugin-2.4.jar
  6. sudo wget https://github.com/SonarQubeCommunity/sonar-pmd/releases/download/2.6/sonar-pmd-plugin-2.6.jar
  7. sudo wget https://github.com/SonarQubeCommunity/sonar-sonargraph/releases/download/sonar-sonargraph-plugin-3.5/sonar-sonargraph-plugin-3.5.jar
  8. sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh restart ## 重启服务
  9. ## 注意:不完整的 wget 下载文件必须删掉,否则会导致 SonarQube 启动失败!


a)插件介绍


Sonar支持多种插件,将下载后的插件上传到${SONAR_HOME}extensions\plugins目录下,重新启动sonar。

sonar默认集成了Java Ecosystem插件,该插件是一组插件的合集

  • Java [sonar-java-plugin]:java源代码解析,计算指标等
  • Squid [sonar-squid-java-plugin]:检查违反Sonar定义规则的代码
  • Checkstyle [sonar-checkstyle-plugin]:使用CheckStyle检查违反统一代码编写风格的代码
  • FindBugs [sonar-findbugs-plugin]:使用FindBugs检查违反规则的缺陷代码
  • PMD [sonar-pmd-plugin]:使用pmd检查违反规则的代码
  • Surefire [sonar-surefire-plugin]:使用Surefire执行单元测试
  • Cobertura [sonar-cobertura-plugin]:使用Cobertura获取代码覆盖率
  • JaCoCo [sonar-jacoco-plugin]:使用JaCOCO获取代码覆盖率

生成认证令牌(Token)

外部系统(比如 Jenkins)访问 SonarQube 时要用到;
进入:Administration(配置) / Security(权限) / User(用户),找到用户 admin,点击 “Tokens” 一列;
弹出界面里:输入 TokenName=”admin”, 点击 “Generate”, 生成 “8687b74188c446f2e02ec6eb5ee9d80b88048406”

部署至 Tomcat

上面是 Sonar 以独立 server 方式运行,也可以改为集成至 Tomcat:

## 注意修改 $TOMCAT_HOME/bin/catalina.sh 初始内存 1G+ sudo /opt/sonarqube-6.2/war/build-war.sh ## 将sonar达成一个war包 sudo cp /opt/sonarqube-6.2/war/sonar.war %TOMCAT_BASE/web-apps/


二、与jenkins集成

1、通过Maven进行集成

修改maven的主配置文件(${MAVEN_HOME}/conf/settings.xml文件或者 ~/.m2/settings.xml文件),在其中增加访问Sonar数据库及Sonar服务地址,添加如下配置:


  1. <profile>

  2. <id>sonar</id>

  3. <properties>

  4.     <sonar.jdbc.url>jdbc:mysql://localhost:3306/sonar

  5.     <sonar.jdbc.driver>com.mysql.jdbc.Driver</sonar.jdbc.driver>

  6.     <sonar.jdbc.username>sonar</sonar.jdbc.username>

  7.     <sonar.jdbc.password>sonar</sonar.jdbc.password>

  8.     <sonar.host.url>http://localhost:9000

  9. </properties>

  10. </profile>

  11. <activeProfiles>

  12.   <activeProfile>sonar</activeProfile>

  13. </activeProfiles>

此处注意sonar.host.url地址应根据sonar部署情况修改

同样,为了避免内存溢出,推荐增加内存堆栈的大小。设置MAVEN_OPTS环境变量:

set MAVEN_OPTS=”-Xmx512m -XX:MaxPermSize=256m”  

使用Sonar

a. 运行Sonar服务器;

b. 通过 mvn sonar:sonar 将代码注入到Sonar中进行分析处理,并将处理结果以XML的形式保存在数据库中;

c. 通过浏览器访问,显示分析结果;

d. 持续运行Maven构建,会迭代显示分析结果;

e. 可以显式指定sonar插件的版本,如下:


  1. <project>
  2.             <build>
  3.                 <plugins>
  4.                     <plugin>
  5.                         <groupId>org.codehaus.sonar</groupId>
  6.                         <artifactId>sonar-maven-plugin</artifactId>
  7.                         <version>3.5.1</version>
  8.                     </plugin>
  9.                 </plugins>
  10.             </build>
  11.         </project>

f. 可以显式的将sonar绑定到Maven生命周期中,如下:


  1. <plugin>
  2.             <groupId>org.codehaus.sonar</groupId>
  3.             <artifactId>sonar-maven-plugin</artifactId>
  4.             <version>3.5.1</version>
  5.             <executions>
  6.                 <execution>
  7.                     <id>sonar</id>
  8.                     <phase>site</phase>
  9.                     <goals>
  10.                     <goal>sonar</goal>
  11.                     </goals>
  12.                 </execution>
  13.             </executions>
  14.       </plugin>

此时,指定Maven的site声明周期时,则会自动调用sonar.sonar 命令.

2、直接与Jenkins集成

在jenkins的插件管理中选择安装SonarQube Plugin,该插件可以使项目每次构建都调用sonar进行代码度量。

安装完毕后,进入:系统管理 / 系统设置 / SonarQube servers, 点击 “Add SonarQube” 按钮:
- Name: SonarQube-6.2
- Server URL: http://centos:9000/sonar
- Server version: 5.3 or higher
- Server authentication token: 8687b74188c446f2e02ec6eb5ee9d80b88048406(前面 SonarQube 生成的)
Jenkins 会把构建结果通过 URL和认证令牌发送给 SonarQube




调整 Jenkins 构建设置

构建设置 Build 中,指定 Maven goals: “sonar:sonar”
项目构建时就会自动上报构建报告给 Sonar

构建错误排查

构建如有报错,可查看 SonarQube 日志来分析:

## cat /opt/sonarqube-6.2/logs/web.log Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (6428688 > 4194304). 
You can change this value on the server by setting the 'max_allowed_packet' variable.
  • ## cat /opt/sonarqube-6.2/logs/web.log Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (6428688 > 4194304). 
    You can change this value on the server by setting the 'max_allowed_packet' variable.

含义是 MySQL Server 的参数值设置过小,调整并重启 mysqld:

## sudo vim /etc/my.cnf ## sudo systemctl restart mysqld [mysqld]
max_allowed_packet=64M ## default 4M

查看报告

进入登陆 SonarQube 查看:
http://centos:9000/sonar

应用程序构建时就会自动触发Sonar对代码的检查

请使用浏览器的分享功能分享到微信等