[Linux] Kiểm tra file, service và restart service khi cần thiết với Monit

altMonit là dịch vụ kiểm tra trạng thái của file bằng cách kiểm tra checksum, theo dõi hoạt động của các dịch vụ chạy trên nền Linux, đưa ra cảnh báo, stop/start dịch vụ nếu dịch vụ sử dụng tài nguyên quá mức cho phép, hoặc một dịch vụ nào đó đột nhiên stop vì một lí do nào đó.
Vì công cụ này đa năng, dễ sử dụng và kiêm khá nhiều việc mà một Linux System Administrator cần làm, nhất là đối với những máy chủ chạy dịch vụ nặng nề.

Các bạn có thể đọc trước tut này ở Cybercitiz:
http://www.cyberciti.biz/tips/howto-monitor-and-restart-linux-unix-service.html
Ngoài ra bạn cũng có thể đọc một bài khá hay, về gom log của server, kiểm tra trạng thái file, bạn nào muốn tham khảo có thể đọc ở đây:

http://www.hvaonline.net/hvaonline/posts/list/14855.hva

Nếu đang làm việc với một server chạy website với lượt truy cập tương đối lớn, vả lại phần code không được hoàn hảo lắm, việc truy xuất cơ sở dữ liệu kém cho nên, mysql làm việc quá sức cho phép, dịch vụ này liên tục chiếm nhiều cpu và khi vượt quá giới hạn cho phép, server sẽ die theo. Và nếu không chuyên về code, vả lại không phải là người chịu trách nhiệm website, việc cần thiết là làm sao lúc ta không thường trực bên server, dịch vụ nào đó ra đi thì vẫn có cách làm cho nó sống lại một cách tự động. Cũng có thể dùng một bash shell để kiểm tra dịch vụ, bạn có thể đọc ở đây:
http://bash.cyberciti.biz/web-server/restart-apache2-httpd-shell-script/

Bài viết trên hướng dẫn bạn viết một shell script để monitor process httpd, nếu phát hiện process này không hoạt động thì lập tức restart dịch vụ. Giải pháp này cũng đáng sử dụng, tuy nhiên không linh động, và bền bỉ như monit. Vả lại với việc viết một shell script, sử dụng cron job…và việc sử dụng một ứng dụng “chuyên dụng”, ta nên chọn cách sau hơn.

Monit là một ứng dụng viết ra cho các hệ điều hành *Nix và unix like, theo thông tin ở trang chủ : http://www.tildeslash.com/monit/ thì monit làm viêc tốt với hầu hết các hệ điều hành Linux. Bài này tôi hướng dẫn bạn cách cài đặt và sử dụng Monit trên Centos 5.2, tương tự với redhat, fedora… Ngoài ra cũng đá một chút sang Debian/Ubuntu (2 OSes này thì đơn giản hơn).

1.Cài đặt:

Monit phiên bản stable hiện tại là 4.10.1, bạn có thể vào trang chủ để tìm hiểu thêm, download và cài đặt:

$ cd /tmp

$ wget http://mmonit.com/monit/dist/monit-4.10.1.tar.gz

$ su
PasswordGõ password của bạn vào

# tar xvf monit-4.10.1.tar.gz

# cd monit-4.10.1

# sh ./configure

Bước này có thể một vài bạn sẽ gặp lỗi tương tự:

sh ./configure
checking for gcc… gcc
checking for C compiler default output file name… a.out
checking whether the C compiler works… configure: error: cannot run C compiled programs.
If you meant to cross compile, use `–host’.
See `config.log’ for more details.

Ta kiểm tra xem /tmp có bị mount với option noexec không? Lỗi trên chủ yếu do nguyên nhân này:
# mount
/dev/sda5 on / type ext3 (rw,usrquota)
proc on /proc type proc (rw)
sysfs on /sys type sysfs (rw)
devpts on /dev/pts type devpts (rw,gid=5,mode=620)
/dev/sda8 on /tmp type ext3 (rw,noexec,nosuid)
/dev/sda7 on /home type ext3 (rw,usrquota)
/dev/sda3 on /usr type ext3 (rw,usrquota)
/dev/sda2 on /var type ext3 (rw,usrquota)
/dev/sda1 on /boot type ext3 (rw)
tmpfs on /dev/shm type tmpfs (rw)
none on /proc/sys/fs/binfmt_misc type binfmt_misc (rw)
/tmp on /var/tmp type none (rw,noexec,nosuid,bind)

Chú ý /tmp được mount ở /etc/fstab với option noexec, để khắc phục lỗi này, bạn sửa lại /etc/fstab và restart. Nhưng không nên, option trên để bảo mật cho hệ thống, ta chỉ cần move file down về tới một thư mục khác có quyền rw, exec là được.

# make & make install

Những bước compile trên là cơ bản khi sử dụng Linux, nếu muốn học về linux, bạn nên tập làm quen dần với các bước compile từ source.

Tiếp theo copy file cấu hình của Monit vào nơi nào đó cho dễ dàng quản lí:

# cp monitrc /etc/monitrc

Với Debian/Ubuntu, đã có sẵn gói deb, bạn cài đặt bằng lệnh apt-get install

$ sudo apt-get install monit
Thế là xong.

2.Cấu hình:

File cấu hình bạn chuyển vào thư mục /etc ở trên, mở nó ra

# nano /etc/monitrc

tìm dòng

#set daemon 120

Bỏ dấu “#” ở trước, dòng này có ý nghĩa: đặt Monit như một daemon, kiểm tra 2 phút một lần dịch vụ, file nào bạn chỉ định, giá trị này tính bằng giây, nếu muốn tăng hay giảm thì bạn có thể thay đổi 60, 180, 240…
Tiếp theo tìm dòng:
# set logfile syslog facility log_daemon
Bỏ dấu “#” trước nó, dòng này chỉ định syslog ghi lại hoạt động của daemon này, LOG-USer là facility theo mặc định.

Tìm set mailserver, bỏ “#” và thêm vào cho đúng với cấu hình mailserver của bạn

set mailserver mail.opensource.com.vn
set alert 
whatvn@opensource.com.vn

Tất cả những dòng còn lại bạn xoá trắng.

Tôi sẽ demo với mysql và kiểm tra việc thay đổi access_log. Kiểm tra mysql vì dịch vụ này thường xuyên làm hệ thống trì trệ do chiếm quá nhiều tài nguyên, kiểm tra access_log là về vấn đề bảo mât, tôi muốn kiểm tra để chắc chắn rằng không ai thay đổi file này.

Với mysql tôi set như sau
#Auto monitor mysql’s pid file and restart when needed
check process mysql with pidfile “/var/lib/mysql/mysql.pid”
start = “/etc/init.d/mysql start”
stop = “/etc/init.d/mysql stop”
if cpu usage > 80% for 2 cycles then restart
if 2 restarts within 3 cycles then timeout


Dòng 1: Tôi chỉ định kiểm tra process của mysql và cho Monit biết process này là process nào, để kiểm tra mysql sử dụng process nào (hệ thống của bạn hoàn toàn có thể khác của tôi), bạn dùng câu lệnh

$ ps -ef | grep mysql

Dòng thứ 2,3: Chỉ định Monit sử dụng init script nào để start, stop mysql (của bạn có thể là mysqld).

Dòng 4: Nếu pid file trên sử dụng cpu vượt quá 80% trong liên tục 2 lần check (240s) thì monit tự động restart dịch vụ này
Dòng 5: Nếu dịch vụ này liên tục sử dụng cpu vượt quá 80% và Monit phải restart quá 3 lần, thì Monit không kiểm tra dịch vụ này nữa, restart liên tục trong thời gian quá ngắn, xem như không cần, bởi vì người dùng cũng không thể truy xuất được website nếu mysqld cứ stop/start

Để kiểm tra access_log, tôi sử dụng:

check file access_log with path /var/log/access_log
if changed checksum then alert
alert
whatvn@opensource.com.vn
if size > 100 Mb
then exec “/usr/sbin/logrotate -f rotate_apache_now”


Dòng 1: chỉ đinh file cần monitor và path tới file.
Dòng 2: Kiểm tra checksum của file, nếu thay đổi cảnh báo
Dòng 3: Gửi cảnh báo đến mail của tôi (Bên trên bạn phải set mail server…)
Dòng 4: Kiểm tra dung lượng file đến khi nào > 100 Mb thì thực hiện dòng 5
Dòng 5: dùng logroutate để empty file này, có thể tìm hiểu logrotate

Với công cụ nhỏ gọn và linh động này, hi vọng giúp được bạn nhiều, đỡ được phần nào gánh nặng cho các sysadmin. Các bạn có thể đưa ra các phần cấu hình của mình để làm phong phú thêm cho bài viết này.

Viết bởi whatvn site:opensource.com.vn


Advertisements

Trả lời

Please log in using one of these methods to post your comment:

WordPress.com Logo

Bạn đang bình luận bằng tài khoản WordPress.com Đăng xuất / Thay đổi )

Twitter picture

Bạn đang bình luận bằng tài khoản Twitter Đăng xuất / Thay đổi )

Facebook photo

Bạn đang bình luận bằng tài khoản Facebook Đăng xuất / Thay đổi )

Google+ photo

Bạn đang bình luận bằng tài khoản Google+ Đăng xuất / Thay đổi )

Connecting to %s