linux安装软件配置

1 备份本地源
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup

2 获取阿里源配置文件
CentOS 6
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-6.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-6.repo

CentOS 7
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-7.repo

CentOS 8
wget -O /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo
或者
curl -o /etc/yum.repos.d/CentOS-Base.repo https://mirrors.aliyun.com/repo/Centos-8.repo

3 更新cache
yum makecache

4 其他
非阿里云ECS用户会出现 Couldn't resolve host 'mirrors.cloud.aliyuncs.com' 信息，不影响使用。用户也可自行修改相关配置: eg:

sed -i -e '/mirrors.cloud.aliyuncs.com/d' -e '/mirrors.aliyuncs.com/d' /etc/yum.repos.d/CentOS-Base.repo
然后执行 yum clean all，再次执行 yum makecache 重新缓存

本文使用Linux版本为centos7，准备3个节点，来部署hadoop集群前要做一些准备工作
具体分配规划如下所示：

|   节点名称    |     节点IP        |
| ----------|------------|
| hadoop01    | 192.168.56.10  |
| hadoop02    | 192.168.56.20  |
| hadoop03    | 192.168.56.30  |


使用终端工具secureCRT链接上3台机器，切换成root用户进行如下配置：

1. 关闭防火墙
   systemctl stop firewalld #关闭防火墙
   systemctl disable firewalld #禁止防火墙启动
   

2. 关闭selinux
   编辑 /etc/sysconfig/selinux 文件 ，修改SELINUX=disabled
   

3. 修改主机名称
   编辑 /etc/hostname文件，3台机器分别修改成自己规划的名称
   第一台 hadoop01
   第二台 hadoop02
   第三台 hadoop03

4. 修改主机映射文件和名称

   编辑 /etc/hosts文件，添加其他机器的配置信息到映射文件里
   192.168.56.10 hadoop01
   192.168.56.20 hadoop02
   192.168.56.30 hadoop03

5. 同步三台机器时间，使用阿里云时间同步器
   三台机器都安装ntpdate
   yum -y install ntpdate

   阿里云时钟同步服务器
   ntpdate ntp4.aliyun.com

   创建一个定时任务，这样就可以自动帮我们同步到阿里云的时钟服务的时间
   crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

6. 添加一个专门用来处理大数据相关的用户，例如我们设置账号为hadoop ，密码为123456，那就分别在3台机器上进行如下操作：
   useradd hadoop
   passwd hadoop，输入一个密码，123456
   新增用户，添加root权限，省去执行权限问题
   visudo
   新增如下内容
   hadoop ALL=(ALL) ALL

我们为这个账号创建2个文件夹，方便以后我们对的工具或者代码的管理，例如我们在根目录创建一个bigdata文件夹，
下边创建一个soft，用于放置我们上传的安装包，代码等。再创建一个install，用于放置我们安装的软件。
注意要对这2个文件夹分配所属人到我们新增加的账户 hadoop
mkdir -p /bigdata/soft
mkdir -p /bigdata/install
chown -R hadoop:hadoop /bigdata

7. 免密登陆准备
   由于是3台服务搭建集群，hadoop启动以后，namenode是通过SSH（Secure Shell）来启动和停止各个节点上的各种守护进程的，所以我们需要配置一下免密登陆
   三台机器上都生成密钥信息
   ssh-keygen -t rsa，然后是3个回车Enter

   现在是3台机器都生成了各自的密钥，我们在其中1台上复制粘贴其他2台的密钥，我们3台都同时执行下边命令来进行复制
   ssh-copy-id hadoop01
   然后在复制这个密钥文件到其他2台就可以实现3台有相同的密钥文件
   scp authorized_keys hadoop02:$PWD
scp authorized_keys hadoop03:$PWD

   验证一把，在hadoop01上输入ssh hadoop02，查看是否当前机器变成了hadoop02

8. 安装JDK
   我们将本地的jdk文件上传到hadoop01，并对其进行解压和配置profile文件
   cd /bigdata/soft
tar -zxf jdk-8u141-linux-x64.tar.gz -C /bigData/install

   将hadoop01机器上的jdk复制到其他机器上去
   scp -r /bigdata/install/jdk1.8.0_141 hadoop@hadoop02:/bigdata/install
scp -r /bigdata/install/jdk1.8.0_141 hadoop@hadoop03:/bigdata/install

   编辑配置文件，执行命令 sudo vim /etc/profile

   export JAVA_HOME=/bigdata/install/jdk1.8.0_141
export PATH=$PATH:$JAVA_HOME/bin

   激活一下profile文件 source /etc/profile

环境变量准备

在~/.bash_profile下配置了环境变量相关的路径信息，比如$HOME/bin路径。就是说会把$HOME/bin目录下的命令添加到环境变量中去。

# .bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/.local/bin:$HOME/bin
export PATH

交代一下背景情况：

创建了一台虚拟机，里面有多个账户，比如有tenic/hadoop账户，在hadoop账户下边的$HOME目录下的bin文件夹下创建了一个命令，
且命令有在hadoop用户的~/.bash_profile中定义环境变量到相应的bin路径。
使用secureCRT/xshell登录到虚拟机时使用的是tenic，然后切换到hadoop用户。执行hadoop用户bin目录下的命令时，提示命令不存在的问题。

解决方法一：

su 是最简单的用户切换命令，通过该命令可以实现任何身份的切换，包括从普通用户切换为 root 用户、从 root 用户切换为普通用户以及普通用户之间的切换。
我们看一下su的帮助信息

hadoop@hadoop01 ~]$ su --help

Usage:
 su [options] [-] [USER [arg]...]

Change the effective user id and group id to that of USER.
A mere - implies -l.   If USER not given, assume root.

Options:
 -m, -p, --preserve-environment  do not reset environment variables
 -g, --group <group>             specify the primary group
 -G, --supp-group <group>        specify a supplemental group

 -, -l, --login                  make the shell a login shell
 -c, --command <command>         pass a single command to the shell with -c
 --session-command <command>     pass a single command to the shell with -c
                                 and do not create a new session
 -f, --fast                      pass -f to the shell (for csh or tcsh)
 -s, --shell <shell>             run shell if /etc/shells allows it

 -h, --help     display this help and exit
 -V, --version  output version information and exit

For more details see su(1).

从帮助文档中可以看到，su后边可以添加多个可选入参，其中有一个 [-] 表示shell也跟着一起变更，
也就是说使用 [-] 选项表示在切换用户身份的同时，连当前使用的环境变量也切换成指定用户的。

解决方法二：

我们在2个用户的_{/.bashrc文件下添加一个echo语句，可以查看到，当切换用户不使用[-]时，会加载切换用户的}/.bashrc环境变量，
所以我们可以在~/.bashrc文件中添加上我们想要添加的环境变量。如下边的图所示：

我们在我们想要切换的用户的~/.bahsrc中添加上相应的环境变量路径上去就可以了。

从我们打印出的$PATH路径可以看出，目前环境变量信息已经添加上我们切换用户的路径了。

1. 下载nginx和tomcat的镜像信息

docker pull nginx
docker pull tomcat

2. 创建nginx和tomcat需要挂载的目录

mkdir -p /bigdata/install/nginx/www /bigdata/install/nginx/conf/ /bigdata/install/nginx/logs
mkdir -p /bigdata/install/tomcat/webapps1/ROOT \
	 /bigdata/install/tomcat/webapps2/ROOT \
         /bigdata/install/tomcat/logs/log1 \
         /bigdata/install/tomcat/logs/log2

3. 启动2台tomcat 作负载均衡

docker run --name tomcat1 \
-v /bigdata/install/tomcat/webapps1:/usr/local/tomcat/webapps \
-v /bigdata/install/tomcat/logs/log1:/usr/local/tomcat/logs \
-d tomcat
docker run --name tomcat2 \
-v /bigdata/install/tomcat/webapps2/:/usr/local/tomcat/webapps \
-v /bigdata/install/tomcat/logs/log2:/usr/local/tomcat/logs \
-d tomcat

4. 获取tomcat容器的ip信息

docker inspect tomcat1|grep "IPAddress"
docker inspect tomcat2|grep "IPAddress"

5. 配置nginx.conf

cd /bigdata/install/nginx/conf
vi nginx.conf

##复制如下内容到文件中去
user  nginx;
worker_processes  1;

error_log  /var/log/nginx/error.log warn;
pid        /var/run/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       /etc/nginx/mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for" "$upstream_addr"';

    access_log  /var/log/nginx/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    keepalive_timeout  65;

    #gzip  on;

    upstream tomcat {
        server 172.17.0.2:8080;##上一步查到的IP和端口
        server 172.17.0.3:8080;##上一步查到的IP和端口
    }

    server {
        listen 80;
        server_name localhost;

        location / {
            proxy_pass http://tomcat/;
            proxy_redirect off;
            index index.html index.htm;
            proxy_set_header Host $host;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Real-Port $remote_port;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
    }
    include /etc/nginx/conf.d/*.conf;
}

6. 启动nginx

docker run -p 80:80 --name nginx \
-v /bigdata/install/nginx/www:/usr/share/nginx/html \
-v /bigdata/install/nginx/conf/nginx.conf:/etc/nginx/nginx.conf \
-v /bigdata/install/nginx/logs:/var/log/nginx \
-d nginx

7. 添加静态页面，区分不同的tomcat

cd /bigdata/install/tomcat/webapps1/ROOT
vi index.html

##复制以下内容，贴入文件
<!DOCTYPE html>
<html>
<head>
    <meta charset="UTF-8">
    <title>docker deployment</title>
</head>
<body>
    <h1>hello, world!--by tomcat1</h1>
    <h1>hello, tenic</h1>
</body>
</html>

tomcat2的配置页面同理，只是将tomcat1修改为tomcat2

8. 访问页面，可以看到有2个页面在替换
   
   

从标题可以分析出来，我们要使用到shell，还要推送日志信息到hdfs上。

1. 定义出上传的路径和临时路径，并配置好上传的log日志信息。
   这里我使用了上一节配置的nginx的error.log

#上传log日志文件的存放路径
/bigdata/logs/upload/log/
#上传log日志文件的临时路径
/bigdata/logs/upload/templog/

将nginx的error.log放在上传log日志的文件夹下边，如下图所示

2. 在~/bin目录下创建我们的shell脚本文件

vi uploadFileToHdfs.sh

##复制如下内容，并保存退出
#!/bin/bash

#set java env
export JAVA_HOME=/bigdata/install/jdk1.8.0_141
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

#set hadoop env
export HADOOP_HOME=/bigdata/install/hadoop-3.1.4
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH


#日志文件存放的目录
log_src_dir=/bigdata/logs/upload/log/

#待上传文件存放的目录
log_toupload_dir=/bigdata/logs/upload/templog/


#日志文件上传到hdfs的根路径
date1=`date -d last-day +%Y_%m_%d`
hdfs_root_dir=/data/log/$date1/

#打印环境变量信息
echo "envs: hadoop_home: $HADOOP_HOME"


#读取日志文件的目录，判断是否有需要上传的文件
echo "log_src_dir:"$log_src_dir
ls $log_src_dir | while read fileName
do
    if [[ "$fileName" == *.log ]]; then
        date=`date +%Y_%m_%d_%H_%M_%S`
        #打印信息
        echo "moving $log_src_dir$fileName to $log_toupload_dir"temp_$fileName"$date"
        mv $log_src_dir$fileName $log_toupload_dir"temp_$fileName"$date
        #将待上传的文件path写入一个列表文件will
        echo $log_toupload_dir"temp_$fileName"$date >> $log_toupload_dir"will."$date
    fi

done
#找到列表文件will
ls $log_toupload_dir | grep will |grep -v "_DOING_" | grep -v "_DONE_" | while read line
do
    #打印信息
    echo "toupload is in file:"$line
    #将待上传文件列表will改名为will_DOING_
    mv $log_toupload_dir$line $log_toupload_dir$line"_DOING_"
    #读列表文件will_DOING_的内容（一个一个的待上传文件名）  ,此处的line 就是列表中的一个待上传文件的path
    cat $log_toupload_dir$line"_DOING_" |while read line
    do
        #打印信息
        echo "puting...$line to hdfs path.....$hdfs_root_dir"
        hadoop fs -mkdir -p $hdfs_root_dir
        hadoop fs -put $line $hdfs_root_dir
    done    
    mv $log_toupload_dir$line"_DOING_"  $log_toupload_dir$line"_DONE_"
done

3. 执行脚本，查看结果
   sh uploadFileToHdfs.sh
   

安装部分

使用root用户，进入到/bigdata/soft目录，下载的文件会到这个目录，并安装wget工具

cd /bigdata/soft
yum -y install wget

使用wget命令下载MySQL的rpm包

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

安装MySQL

yum -y install mysql57-community-release-el7-10.noarch.rpm

安装MySQL Server

yum -y install mysql-community-server

通过DBeaverEE 连接测试成功！

删除部分

上面我们在CentOS 7当中已经安装好了5.7版本的mysql服务；
如果以后我们不需要mysql了，或者mysql安装失败了需要重新安装，那么我们需要将mysql卸载掉
使用root用户，执行下边命令

##停止mysql服务
systemctl stop mysqld.service

##列出要删除的mysql相关的包
yum list installed mysql*

## 卸载rpm包，使用yum remove卸载，后边依次加入上图的包名，包名之间有空格
yum remove mysql57-community-release-el7-10.noarch \
mysql-community-common-5.7.28-1.el7.x86_64 \
mysql-community-client-5.7.28-1.el7.x86_64 \
mysql-community-libs-compat-5.7.28-1.el7.x86_64 \
mysql-community-libs-5.7.28-1.el7.x86_64 \
mysql-community-server-5.7.28-1.el7.x86_64

##查看是否卸载干净
yum list installed mysql*

##查找mysql剩余文件
find / -name mysql

##删除查找到的文件
rm -rf /var/lib/mysql/
rm -rf /usr/share/mysql/
rm -rf /etc/selinux/targeted/active/modules/100/mysql

##删除日志文件
rm -rf /root/.mysql_history
rm -f /var/log/mysqld.log

a=10
echo "a=$a"

a=10

#!/bin/bash
myUrl="https://cnblogs.com/tenic"
readonly myUrl
myUrl="https://www.google.com"

myUrl: readonly variable

unset myUrl

str='this is a string'
echo $str

this is a string

your_name='tenic'
str="Hello, I know you are \"$your_name\"! \n"
echo -e $str

Hello, I know you are "tenic"! 

your_name="tenic"
# 使用双引号拼接
greeting="hello, "$your_name" !"
greeting_1="hello, ${your_name} !"
echo $greeting  $greeting_1
# 使用单引号拼接
greeting_2='hello, '$your_name' !'
greeting_3='hello, ${your_name} !'
echo $greeting_2  $greeting_3

hello, tenic ! hello, tenic !
hello, tenic ! hello, ${your_name} !

string="abcd"
echo ${#string} #输出 4

string="cnblogs is a great site"
echo ${string:1:4} # 输出 nblo

string="cnblogs is a great site"
echo `expr index "$string" io`  # 输出 4

:<<!
注释内容。。。
注释内容。。。
注释内容。。。
！

echo "接收的第一个参数是：$1"
echo "接收的第二个参数是：$2"

echo '测试$*'
for i in "$*";do
  echo i;
done

echo '测试$@'
for i in "$@";do
  echo i
done

./demo1.sh a b c
测试$*
a b c
测试$@
a
b
c

#! /bin/bash
a=20
b=10
#单if模式
if [ $a -gt $b ];then
  echo "a大于b"
fi
#双分支模式
scores=66
if [ $scores -gt 60 ];then
  echo "成绩合格"
else
  echo "成绩不合格"
fi
#多分支结构
scores02=95
if [ $scores02 -gt 90 ];then
  echo "成绩优秀"
elif [ $scores02 -gt 80 ];then
  echo "成绩良好"
elif [ $scores02 -gt 70 ];then
  echo "成绩中等"
elif [ $scores02 -gt 60 ];then
  echo "成绩及格"
else
  echo "成绩不及格"
fi

#!/bin/bash
a=20
case $a in
  10) echo "a的值是10"
  ;;
  20）echo "a的值是20"
  ;;
  *） echo "a的值不是10也不是20"
  ;;
esac

#! /bin/bash
echo "第一种方式"
for i in 1 2 3 4 5; do
  echo $i
done

echo "第二种方式"
for i in (1..5); do
  echo $i
done

echo "使用循环遍历1-5中的奇数，1-5，步长是2"
for i in (1..5..2);do
  echo $i
done

echo "使用遍历访问目录下的内容"
for i in 'ls /';do
  echo $i
done

#!/bin/bash
sum=0
i=1
while [ $i -ge 10 ];do
  sum=$[sum + i]
  i=$[i + 1]
done

echo $sum

#!/bin/bash
while true;do
  date
  sleep 1
done

#!/bin/bash
i=1
while true; do
  if [ $i -gt 10 ];then
    break;
  fi
  echo $i
  date
  sleep1
  i=$[i + 1]
done

#!/bin/bash
for i in (1..20);do
  if test $[ i % 3] -eq 0;then
    continue
  fi
  echo $i
done

until condition
do
    command
done
condition 一般为条件表达式，如果返回值为 false，则继续执行循环体内的语句，否则跳出循环

#!/bin/bash
print(){
	echo "this is my first function"
}

echo "调用函数print开始"
print
echo "调用函数print结束"

#!/bin/bash
print(){
	echo "第一个参数是：$1"
	echo "第10个参数是：${10}"
}
print 1 2 3 4 5 6 7 8 9 10 11

add(){
	return $[ $1 + $2 ]
}
add 1 2
echo $?   # $?可以获取最后命令执行的结果作为返回值使用

#!/bin/bash
arr01=(1 3 "a" "abc")
echo "数组第一个元素${arr01[0]}"
echo "数组最后一个元素${arr01[10]}"
echo "读取数组全部数据${arr01[*]}"
echo "读取数组的长度：${#arr01[*]}"

arr01[3]="dff"
echo "修改后的数组全部数据为${arr01[*]}"

for i in ${arr01[*]};do
 echo $i
done

#! /bin/bash
source ./demo11.sh

for i in ${arr01[*]};do
  echo $i
done