应用中间件选型

传统方式是可以将轻量级与重量级的中间件软件部署到小机或是虚机是没有问题，因为他会占用着一台主机资源，对启动服务时间要求不是那么高。如果重量级的应用部署到容器内就不适合容器秒级启动的目标，也会出现资源浪费情况。

1 、Java开发语言程序动态应用使用tomcat轻量级中间件

2 、静态应用使用nginx高性能WEB 服务器

3 、Php开发语言程序动态应用使用php-fpm与nginx结合

4 、缓存服务器使用Redis高性能缓存服务器

容器应用进程非root用户启动

如果容器中使用的root用户启动应用，这样在外面的宿主机就可以自由的使用直接docker exec命令获取root权限，安全风险比较大。

1 、docker容器默认以root运行。

2 、随着docker的成熟，越来越多的安全默认选项变得可用。请求root是危险的，可能无法在所有环境中可用。所以镜像应该使用USER命令来指令容器以一个非root用户来运行。

应用固化服务监听端口

对于标准的服务只需提供一个对外服务端口，而有些应用在运行过程中会自己产生一些服务端口对外服务，而且这些端口是随机产生，给管理带来不便。

在应用设计时尽量不要在应用运行时产生额外的服务端口，如果必须使用则需让端口固定下来并体现在系统集成文档中

定时任务与应用分离

传统方式定时任务都与应用打包在一起，通过修改配置文件的特定配置项来控制定时任务是否启动，这样就会出现应用的差异化，在系统运行时就需要去手动配置。

将定时任务与应用分开，运行不同容器。

单应用单容器运行

传统方式是可以将多个应用部署到一套中间件运行环境，但如果多个应用部署到一个容器环境会影响资源争用问题，影响系统性能与系统之间隔离性。

每个容器中只能运行一个应用，不能部署多个应用到一个容器

应用容器中运行单进程

容器中运行多个进程应用会影响系统资源争用，影响问题定位。

运行的容器只跑单个进程

应用容器之间接口调用

服务间接口调用使用非标准协议进行交互(如EJB调用使用t3协议)，无法通过负载均衡器进行有效负载

服务间接口调用通过TCP和HTTP协议进行交互，这样可使用负载均衡器进行有效负载

不要依赖IP地址

传统方式部署应用是会有一个独立IP地址，然后注册到LB负载均衡和接口调用地址。但如果部署的容器采用固定IP实现负载就会存在单点故障，因为容器IP地址是随时会变化的，所以注册到LB的地址也要随时变更。

1 ）每个容器都有自己的内部IP地址，如果你启动并停止它地址可能会变化。

2 ）如果应用或微服务需要与其他容器通讯，由于容器IP是不固定的，应用依赖IP地址将无法与其他容器通讯，可以选择更合适的方式与其他容器进行通讯。

持久化有状态数据

传统方式对接口、附件文件直接存放在服务器，或是FTP服务器，使用都是正常的。但如果将有状态的数据放在容器里面，就会因容器销毁而丢失，因此我们需要将容器里面有状态的数据单独挂出来，以保障数据永久不丢失。

1 ）由于容器是一次性的，当容器被停止、销毁或替换时，应用在容器中存储的数据同样会被销毁。

2 ）如果应用需要存储数据，需存储在共享数据存储中。

清除不必要的依赖包和文件

容器化镜像打包时间可以将软件依赖包直接以存储方式挂在容器外。不要因导致容器镜像大小越来越大，影响容器快速启动。

容器的一个显著特点是秒级启动，一旦制作了一个超大的镜像将难以分发。就失去了容器的意义了。

不要在镜像中存储凭据、使用环境变量

关于应用容器调用接口服务时应该在打包镜像的时候按规范不能写死IP地址，以免后续数据库地址变更后需要调整镜像。

1 ）不要在应用中写死服务的IP和端口（如数据库IP和端口、服务接口IP和端口），采用域名的方式。

2 ）环境变量应该以传参的形式传入容器，而不是直接写死在容器中，需要的环境变量可写入系统集成文档中。

日志持久化

tomcat 日志

在容器/app/bin/startserver.sh中添加行:
  export CATALINA_OPTS="${CATALINA_OPTS} -Dhostname=${HOSTNAME}   -Dmarathon.app.id=${MARATHON_APP_ID}"

1 、更新log4j.xml中value字段，规范如下：
  value="/logs/tomcat/${marathon.app.id}:${hostname}:log4j.log"
 
  2、对应用日志进行切割
  log4j.appendeer.root.layout.conversionPattern=%d(yyy-MM-dd HH:mm:ss) (%-5p)   %c (%F:%L) - %m%n

更改APP的'log4j.properties文件的Value值，文件名改为value="/logs/tomcat/${marathon.app.id}:${hostname}:root.log
  value="/logs/tomcat/${marathon.app.id}:${hostname}:core.log
  value="/logs/tomcat/${marathon.app.id}:${hostname}:torque.log
 
  更改WEB的'log4j.properties文件的Value值，文件名改为value="/logs/tomcat/${marathon.app.id}:${hostname}:spdbcccActivityDY.log
  所有'log4j.properties文件中log4j.appendeer.root.layout.conversionPatter变更为：
  log4j.appendeer.root.layout.conversionPattern=%d(yyy-MM-dd HH:mm:ss) (%-5p)   %c (%F:%L) - %m%n

nginx 日志

在容器内修改配置文件/etc/nginx/nginx.conf中添加日志输出
  error_log  /logs/nginx/error.log error

无

nginx 代理转发日志文件名：/logs/nginx/error.log

php-fpm 日志

在容器内修改配置文件/etc/opt/remi/php70/php-fpm.conf中添加日志输出error_log = /logs/php-fpm/error.log

无

php-fpm 代理转发日志文件名： /logs/php-fpm/error.log

会话持久化

php 环境redis

打包redis容器镜像，采用birgde网络协议提供给业务调用
  redis IP预设
  server：redis_ip：6379

1 、涉及到redis应用，将redis信息配置到active_front/suites/config/config.xml文件，信息如下:
  $config['sess_driver'] = 'redis';
  $config['sess_cookie_name'] = 'nlf_front_session';
  $config['sess_expiration'] = 7200;
  $config['sess_save_path'] = '127.0.0.1:6379?auth=Redis@2017';
  $config['sess_match_ip'] = FALSE;
  $config['sess_time_to_update'] = 300;
  $config['sess_regenerate_destroy'] = FALSE;

代码路径：active_front/suites/config/config.xml

tomcat 环境redis

打包redis容器镜像，采用birgde网络协议提供给业务调用
  redis IP预设
  server：redis_ip：6379

1 、涉及到redis应用，将redis信息配置到tomcat\context.Xml文件，信息如下:
   
               maxInactiveInterval="60"
             sentinelMaster="mymaster"   
             sentinels="redis_ip:6379"    />
  2、提供相关文件变更路径及所需变更字段信息
  3、context.xml文件中更改active_front为"/front"

context.xml 文件路径位置:
  context.xml文件中更改active_front为"/front"

持久化有状态数据

接口与附件

通过docker -V数据卷参数将容器中的文件转存到外部共享存储

开发提供接口与附件路径

NFS 共享存储路径：
  /sharefs/cecrm_acitivtycenter/admincert
  容器路径：
  /var/www/cecrm_acitivtycenter/uploads

中间件性能参数

tomcat 参数

将相关配置到容器

提供相关的性能参数

配置文件信息及相对路径：tomcat/conf/
  jdk版本：1.7.0.76
  中间件版本：tomcat 7.0.42

nginx 参数

将相关配置到容器
  server {
      listen       8080;
      server_name  127.0.0.1;
          large_client_header_buffers 4   16k;
          client_max_body_size 300m;
          client_body_buffer_size 128k;
          proxy_connect_timeout 600;
          proxy_read_timeout 600;
          proxy_send_timeout 600;
          proxy_buffer_size 64k;
          proxy_buffers   32 32k;
          proxy_busy_buffers_size 64k;
          proxy_temp_file_write_size 64k;

提供相关的性能参数

配置文件信息及相对路径：
  /etc/nginx/conf.d/website.nginx.conf
  版本号:1.10.3

php 参数

将相关性能参数配置到容器
  sed -e 's/127.0.0.1:9000/9000/' \
  -e '/allowed_clients/d' \
  -e '/catch_workers_output/s/^;//' \
  -e '/error_log/d' \
  -e 's/;listen.backlog = 511/listen.backlog = 1024/' \
  -e 's/pm.max_children = 50/pm.max_children = 300/' \
  -e 's/pm.start_servers = 5/pm.start_servers = 30/' \
  -e 's/pm.min_spare_servers = 5/pm.min_spare_servers = 30/' \
  -e 's/pm.max_spare_servers = 35/pm.max_spare_servers = 60/' \
  -e 's/;pm.max_requests = 500/pm.max_requests = 10240/' \
  -e 's/;request_slowlog_timeout = 0/request_slowlog_timeout = 2/' \
  -e 's/;request_terminate_timeout = 0/request_terminate_timeout = 600/' \
  -e 's/;rlimit_files = 1024/rlimit_files = 65535/' \
  -i    /etc/opt/remi/php70/php-fpm.d/www.conf && \
  sed -e 's/max_execution_time = 30/max_execution_time = 600/' \
  -e 's/max_input_time = 60/max_input_time = 300/' \
  -i /etc/opt/remi/php70/php.ini && \
  sed -e 's/daemonize = yes/daemonize = no/' \
  -e 's/;rlimit_files = 1024/rlimit_files = 65535/' -i   /etc/opt/remi/php70/php-fpm.conf && \

提供相关的性能参数

配置文件信息及相对路径：
  /etc/opt/remi/php70/php-fpm.conf
  /etc/opt/remi/php70/php.ini
  版本号：7.0

应用开发改造

热点数据改造

提供redis镜像包

热点数据缓存放到redis、应用无状态开发、应用上配置的定时任务及应用分离、应用数据存储到共享存储（参考应用改造方案）