管理员
论坛积分
分
威望 点
贡献值 个
金币 枚
|
情景 由于公司内网有多台服务器的http服务要映射到公司外网静态IP,如果用路由的端口映射来做,就只能一台内网服务器的80端口映射到外网80端口,其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口,比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。 然后k兄就提议可以在内网搭建个nginx反向代理服务器,将nginx反向代理服务器的80映射到外网IP的80,这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器,利用nginx反向代理将不同域名的请求转发给内网不同机器的端口,就起到了“根据域名自动转发到相应服务器的特定端口”的效果,而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”,真是喜大普奔啊。 涉及的知识:nginx编译安装,nginx反向代理基本配置,路由端口映射知识,还有网络域名等常识。 本次实验目标是做到:在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口,输入xxx456.tk能访问到内网机器192.168.10.40的80端口。 配置步骤 服务器ubuntu 12.04/ ] H4 S2 C6 ?7 S6 d* C
O' K) i: ?1 [- ###更新仓库, e# A$ z. W6 S" f: W$ [3 X7 {3 n* Y
$ n/ C9 C3 z# `9 n* G- apt-get update -y
/ X, o0 O7 B7 A6 y1 w& ~ - apt-get install wget -y
, ~& j2 a* D8 q/ S0 j - #下载nginx和相关软件包
复制代码 . k" X# S, j; y
/ X& H) m, V' |1 d9 h2 G
pcre是为了编译rewrite模块,zlib是为了支持gzip功能。额,这里nginx版本有点旧,因为我还要做升级nginx的实验用。大家可以装新版本。! N' u7 f; P4 O
' ]) h7 O0 i7 ^5 y! V
- cd /usr/local/src4 s4 B: L: ]9 F' s! r% M/ s
- wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>9 A9 w" c# w2 a# S( Y" I
- wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>) @/ h* u7 J, g
- wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>5 x( U* A/ R4 k
- tar xf pcre-8.33.tar.gz+ E1 x. q2 Y. J; W3 d, C- z
- tar xf zlib-1.2.8.tar.gz
) y) @6 g& H: L; k/ g4 {/ Y. g - #安装编译环境$ V2 u/ O5 R- ?
复制代码
$ F5 z; | ^" \3 V / T2 k: l5 s- m' `- A
apt-get install build-essential libtool -y
, d- i3 W! h! W& O. ?/ c2 S# X#创建nginx用户
' b1 H( k8 E; Q' X- l# I1 @ |% S9 C# |2 o- c3 N+ q9 @4 r2 T) u
所谓的unprivileged user2 l: r; O, x i2 a* A V; `7 ?
8 A g( ?3 p3 X
- useradd -s /bin/false -r -M -d /nonexistent www4 s1 |1 K" ?. ?6 W P' v8 U
- #开始编译安装
( n: A+ g! q( a9 b9 @ - ) X9 g ~ }4 E, O \8 N' T
- /configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \7 d' d3 @5 v. n
- --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module6 N; p f* y" e6 U
- make
7 ]) D- k3 _: f/ d% r - make install
& v+ a* H$ o' [/ ^4 D4 m - #给文件夹授权
复制代码
. O. a# O4 h, U0 A
+ E4 P, k" v3 x5 }& [: m6 b$ Fchown -R www:www /usr/local/nginx
: e" \# g! Y/ Q! j2 X#修改配置文件
: ^/ S! m$ E4 w, `# i; z# W5 Vvim nginx.conf
4 ~& U S; S. n4 \# e# D" i& X) @
user www www;
3 l1 b8 S" q9 M, u& K/ E/ Q+ fworker_processes 1;, i$ N0 i* f" g; v: R1 b
error_log logs/error.log;! S$ |& D! g. R5 X
pid logs/nginx.pid; g h9 T8 S- l
worker_rlimit_nofile 65535;2 q* ?5 [8 b8 z' V2 @* H2 r
events {- k( v' S1 ~8 @- G- f5 ?
use epoll;
2 ~ V8 B6 z. i* o worker_connections 65535;6 o; u! I& p+ }9 w
}
# p7 D t* X0 k) e0 l+ M& q: ehttp {
/ Z2 a. _, I8 }: x' h" D# v include mime.types;* o! Z5 p/ u/ U h) C$ Y
default_type application/octet-stream;' S' P- |! F! q7 O$ B
include /usr/local/nginx/conf/reverse-proxy.conf;) L, a/ s+ e$ o3 V
sendfile on;
' i4 z, ?1 C \( i" K1 V" U keepalive_timeout 65;
5 G8 x4 a/ S$ N5 x# ~) ?0 z gzip on;
0 w* \* e. F/ ?& h client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
! I- G7 i4 F( X" z/ @& k5 ^ client_body_buffer_size 256k;% b5 [- X! n5 y6 n* e; v
client_header_timeout 3m;
Z* c. `7 x/ l client_body_timeout 3m;
' p" _" J" f9 v! ]1 U) x S send_timeout 3m;* U# S* {1 [% L4 _2 _8 }; j
proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
3 t) J2 Z8 X( _1 K8 R8 M. q proxy_read_timeout 300s; #连接成功后,后端服务器响应时间(代理接收超时)0 m+ |/ x6 u- ?3 y4 ?
proxy_send_timeout 300s;' X6 E- n, _2 V$ ~+ ?: }& U o
proxy_buffer_size 64k; #设置代理服务器(nginx)保存用户头信息的缓冲区大小
/ F3 U5 e8 D: P% x- J, A proxy_buffers 4 32k; #proxy_buffers缓冲区,网页平均在32k以下的话,这样设置) T8 \: a$ @6 `$ L- a, S: y
proxy_busy_buffers_size 64k; #高负荷下缓冲大小(proxy_buffers*2)
, ^/ J! q' s4 l proxy_temp_file_write_size 64k; #设定缓存文件夹大小,大于这个值,将从upstream服务器传递请求,而不缓冲到磁盘
& |" Y) @! U0 I) y. V. ~" ~ proxy_ignore_client_abort on; #不允许代理端主动关闭连接
: T* ], l& M7 l4 a- O1 N' k server {* d9 w9 S; ]8 @2 W3 c1 H
listen 80;
) U- w) j6 z& J0 Q server_name localhost;
( K v# w2 p* m location / {
+ M- M( C% U/ {3 w2 O) w. g' I, w root html;
~9 m! D& N, {/ A* {0 c index index.html index.htm;
1 K/ T+ J6 ?8 A z$ y% ] }( z1 t3 h2 Y p* ]3 ]- V8 Y
error_page 500 502 503 504 /50x.html;2 M& ]0 E% ` D# b/ C: n4 Y9 z
location = /50x.html {
" P; I1 `" u1 u( t; \ root html;; H( { o5 e: X0 m7 K1 B/ I
} b) x6 h. j* h' I8 N- G* p# F& o2 g1 _0 f* _
}
, s6 V9 N0 \* V5 h+ m, X} a% g+ G: N2 }0 g% V
. _% W4 J. Q( Z' W+ V) a! e编辑反向代理服务器配置文件:3 a$ z4 j, n( R6 c
, x$ ^* W# Y& u
vim /usr/local/nginx/conf/reverse-proxy.conf: Y' U, M8 i0 i" w* ]) a
/ a. a h0 n2 Q* H- Y; pserver5 i% {# R. u; R. ^4 Q" ?: Z9 v2 R* T
{
# ]( P2 M$ b% n6 n# i% H1 I' a listen 80;6 A" P( O- v$ U1 {# I, L# k6 m
server_name xxx123.tk;, {1 ` j5 D5 a
location / {
9 a: ]) r9 B, \2 d1 ~8 j8 Q proxy_redirect off;6 D- i% w- z. J3 P" E6 g% ? x
proxy_set_header Host $host;
& c, B) X( j, @ proxy_set_header X-Real-IP $remote_addr;, h, h, E2 r6 z5 i& A
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
# ?/ G% W! z% g2 G' @0 i1 b3 ^ j proxy_pass http://192.168.10.38:3000;! x: \6 q; P3 z$ z5 S$ J
}
; y/ o/ j4 S' H: F$ K access_log logs/xxx123.tk_access.log;+ g2 \$ E) x! y- F6 r
}
l' w9 b0 L% }% w
6 x1 b4 D& v& G( f4 }/ j4 @, wserver" L: @9 J1 S( [& b
{7 A* p- d" u! H6 v9 l
listen 80;4 j1 c; ]) O' n8 p/ M5 [
server_name xxx456.tk;
+ ]( x9 [0 K+ E! e5 l location / {
0 F2 t7 K/ M/ ~. D proxy_redirect off;
. z2 z$ t8 `" ~5 h" p0 C proxy_set_header Host $host;
6 n& s4 j3 f" z* z: [0 | proxy_set_header X-Real-IP $remote_addr;
' N6 {/ B2 n2 E$ x; I9 e/ u proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;" f% D* J+ ^4 J1 [5 P, \
proxy_pass http://192.168.10.40:80;& n [0 ~! o% S
}
- \' |$ m3 G+ F" u7 a- J access_log logs/xxx456.tk_access.log;8 d( g6 E7 G O0 u8 m4 \
}
* w" _; r& [# j( T6 ]
$ ^7 {) {1 }; r; t; U( O然后重新加载nginx配置文件,使之修改生效,再把xxx123.tk域名指向公司静态IP,这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。 如果想对后端机器做负载均衡,像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。" Y$ ]6 r6 I e& x& S% p0 ?
' |5 T: d- K1 F' ~upstream monitor_server {
/ n' B/ d) B: a$ z6 X: s server 192.168.0.131:80;
R8 a0 K# T% Q3 ?4 _. Q8 J server 192.168.0.132:80;4 M) G( S8 w' B! z$ C- J) I( s
}) [/ E) B7 Z" R1 B! @4 d$ \
1 w. y8 J, Q" z q3 }server4 m: ?) k4 ]. f( v; Z6 }
{; w! [- K0 J5 c5 i" h. z+ A
listen 80;
- E- Q1 n2 Q$ v! o" v" C8 E server_name nagios.xxx123.tk;
2 I! m5 e; _0 E) P7 U location / {
8 {' a% w% v/ { proxy_redirect off;
( a( e& w9 G( x proxy_set_header Host $host;
/ {: K1 W' d) m8 Z' Q3 x$ i0 ? proxy_set_header X-Real-IP $remote_addr;+ k7 i7 m% b# S5 ]' \ v1 n7 v
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; - E' b, K& a+ q. O& H
proxy_pass http://monitor_server;
- ^/ o9 h. N: X. z# A: i }! }. G5 N( o1 \% C$ ^
access_log logs/nagios.xxx123.tk_access.log;
' ~% c+ W4 R4 ^1 [ [}$ ]0 y9 `# b4 S' Y# h8 ^
' y4 A9 f( c* q
额,关于负载均衡和缓存就不多说了,这里只是要起到一个简单的“域名转发”功能。 另外,由于http请求最后都是由反向代理服务器传递给后段的机器,所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。 要想能记录真实IP,需要修改后端机器的日志格式,这里假设后端也是一台nginx: 在后端配置文件里面加入这一段即可:
2 V; {+ n' Z% V) i# x1 C( b! o$ V3 q" @2 m
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
* S4 z% F) ]4 t1 T) t'$status $body_bytes_sent "$http_referer" '
, o% Y$ j. G' O" p9 r- y2 g. k'"$http_user_agent" $HTTP_X_Forwarded_For';
! O' V1 x7 P! [' T, s! ]. j
1 [6 e7 B1 D1 Daccess_log logs/access.log access;3 d3 n$ N0 C C2 F& z$ i$ Q
9 S+ g0 [& O& l, g$ M1 e
再看看原来日志的格式长什么样:+ Y; m( I6 s& a+ [+ ^$ }
$ {2 [. c0 w7 I) z- l2 S2 c1
$ P! t' u4 N9 N! y2
+ s7 l8 T% Y) H H, U3
/ |* J6 g& O/ Q! F: t4: W |2 z0 N1 j
5
4 S2 s( |7 a9 o' ]6 e#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
7 z1 [$ a& S# l# '$status $body_bytes_sent "$http_referer" '
, s& E. ?. I$ [, p# T# p# ]0 W# '"$http_user_agent" "$http_x_forwarded_for"';
9 |$ I$ L4 N \4 Y . h/ Z1 L5 N7 t
#access_log logs/access.log main;: Q4 D3 ^0 s% x( G5 l
看出区别了吧 遇到的问题 之前没配置下面这段,访问时候偶尔会出现504 gateway timeout,由于偶尔出现,所以不太好排查
4 s+ |) `$ M6 i7 O. Q5 g% R2 b6 f
3 t& I/ E$ `5 e; B- b9 a1( @! W. u/ E$ e0 p+ e
2
- Z, U6 O6 A3 H/ _: b! v! y) @3
3 d/ D: K5 U, L4
: `! E- W0 q1 J, ^1 I7 @2 F- q5
0 Y' k2 @+ ~$ x- Q6) p& Z* K3 V' U1 t
7* Y T: W' g8 P) y5 t/ s* |7 d
8$ {. K5 h4 I' c/ P
proxy_connect_timeout 300s;8 ~7 ]. C' l- Y( B
proxy_read_timeout 300s;
6 C# g$ m! p$ q: _9 N8 e4 Jproxy_send_timeout 300s;0 |( E0 Q2 O& ^+ `
proxy_buffer_size 64k;$ k. h( _$ q+ C5 A2 j$ V9 G
proxy_buffers 4 32k;4 Q/ J4 z; O5 X( k7 k6 u+ q) a$ T
proxy_busy_buffers_size 64k;
1 R" j$ I( n! R5 q; X9 }) |proxy_temp_file_write_size 64k;1 o4 W4 I4 i" l
proxy_ignore_client_abort on;1 J2 z7 Y/ }, p! `$ L t7 g
报错日志:
1 H3 X- L) w( j, B& J' x. m& b* u" }0 M' A! i# d
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略) 从日志看来是连接超时了,网上一通乱查之后估计可能是后端服务器响应超时了,本着大胆假设,小心求证的原则,既然假设了错误原因就要做实验重现错误:那就调整代理超时参数,反过来把代理超时阀值设小(比如1ms)看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候,每次访问都出现504。于是把这个参数调大,加入上面那段配置,解决问题了。7 G3 |( t/ O7 t
; n+ m- s8 x4 Q$ r' IPS:关于域名转发
; ?) K" e- P$ v3 f" n( A4 k( P5 X! |6 ?; |9 h2 g' {
所谓域名URL转发,是通过服务器的特殊设置,将访问您当前域名的用户引导到您指定的另一个网络地址。 地址转向(也可称“URL转发”)即将一个域名指向到另外一个已存在的站点,英文称为“ URL FORWARDING ”。域名指向可能这个站点原有的域名或网址是比较复杂难记的。 已经注册成功的域名,若初设或取消 URL 转发设置,一般均在 24-48 小时之内生效。对于原有已经设置成功的 URL 转发域名,如果修改 URL 转发的目标地址,则只需 1-2 个小时即可生效。 不隐藏路径 URL 转发:例如: http://b.com/ 指向 http://a.com/xxx/ (任意目录);当在浏览器地址栏中敲入 http://b.com/ 后回车, IE 浏览器的地址栏里显示的地址会由原来您敲入的 http://b.com/ 自动变为显示真正的目标地址 http://a.com/xxx/ ; 隐藏路径的 URL 转发:例如:先同上, IE 浏览器的地址栏里显示的地址保持不变,仍是 http://b.com/ ,但实际访问到的是 http://a.com/xxx/ 的内容。7 H* u. V; M8 }6 o' F* H$ F
|
|