Paper 06: Chuyển Pha: Vì Sao Hệ Thống Quá Tải Đóng Băng Thay Vì Chậm Dần Đều

I. Tóm tắt #

Trực giác tuyến tính dự đoán: tải tăng 10% thì độ trễ tăng cỡ 10%. Cách Landau phân loại chuyển pha, điểm phân kỳ hàng đợi của Kleinrock và vật lý dòng xe trên cao tốc dự đoán điều khác hẳn: hệ thống chịu tải đi qua một cú chuyển pha do mật độ điều khiển, với ba chữ ký đo được. Một — vách đá goodput: đầu ra hữu ích không suy giảm dần, nó rơi gián đoạn. Hai — capacity drop: trạng thái nghẽn xử lý được ít hơn cả mức hệ thống vừa đạt ngay trước khi nghẽn, và trạng thái đó tự duy trì. Ba — critical slowing down: phương sai và tự tương quan trễ bậc 1 của độ trễ tăng trước khi giá trị trung bình kịp nhúc nhích, nghĩa là cú sập quan sát được từ trước. Hệ quả kỹ thuật: định nghĩa sức chứa bền vững tại điểm knee của đường cong độ trễ thay vì đỉnh benchmark, chĩa monitoring vào thống kê bậc hai thay vì giá trị trung bình, và khi hệ đã kẹt thì xả tải thật sâu thay vì gọt từng chút một.

II. Phát Biểu Vấn Đề Từ Các Tiên Đề #

Ngụy biện tuyến tính phát biểu: phản ứng của hệ thống là hàm trơn theo tải. Service chạy 80% CPU nghĩa là còn 20% headroom; traffic tăng 10% thì độ trễ tăng cùng bậc; nếu quá tải thật thì hệ chậm lại tương ứng, giảm tải là hết đau. Mọi ngưỡng cảnh báo đặt trên độ trễ trung bình hay tỉ lệ lỗi đều mã hóa niềm tin này.

Hai quan sát từ production đập vỡ bức tranh đó. Quan sát thứ nhất ở quy mô nhỏ. Một service cấu hình connection pool 10 kết nối (HikariCP, maximumPoolSize=10) chạy êm nhiều tháng liền. Nhu cầu đồng thời leo dần lên 200. CPU vẫn vừa phải, memory đi ngang, không chuông báo nào kêu — vậy mà p95 vọt lên 5 giây và đứng nguyên ở đó. Có đội đã mất ba ngày truy lùng lớp lỗi này; bản fix, khi tìm ra, mất mười phút (nâng pool, xả bớt phần thừa). Nút thắt là một trần concurrency cứng, vô hình trước mọi metric tài nguyên mà tư duy tuyến tính cho là quan trọng.

Quan sát thứ hai ở quy mô lớn. Tháng 10 năm 1986, đường truyền giữa Lawrence Berkeley Lab và UC Berkeley — cách nhau khoảng 400 yard qua ba router — rớt từ 32 kbps thông lượng hiệu dụng xuống quãng 40 bps. Một nghìn lần, không sợi cáp nào đứt (Jacobson & Karels, 1988). Tải đầu vào tăng theo phần trăm; đầu ra hữu ích sập ba bậc độ lớn, và mạng đứng nguyên trong trạng thái sập cho tới khi chính giao thức bị thay đổi. Đầu ra gián đoạn theo đầu vào, cộng với trạng thái suy sụp tự duy trì sau khi tác nhân đã qua: cặp dấu hiệu đó là chữ ký của chuyển pha bậc nhất — thứ mà mô hình tuyến tính, về mặt cấu trúc, không có chỗ để biểu diễn.

III. Khung Lý Thuyết (First Principles) #

Cách Landau Phân Loại Chuyển Pha #

Landau (1937) mô tả chuyển pha qua tham số trật tự $\eta$: một đại lượng vĩ mô bằng 0 ở pha hỗn loạn và khác 0 ở pha có trật tự. Gần điểm chuyển pha, mật độ năng lượng tự do của hệ khai triển thành chuỗi theo $\eta$:

Khai triển này chia chuyển pha thành hai họ với hai kiểu hỏng hóc khác nhau. Trong chuyển pha bậc hai (liên tục), $\eta$ tăng liên tục từ 0 trong khi chiều dài tương quan phân kỳ — thăng giáng lan ra toàn hệ, nhưng không có cú nhảy. Trong chuyển pha bậc nhất (gián đoạn), $\eta$ nhảy vọt giữa hai giá trị, vì $F$ hình thành hai đáy cục bộ ngăn cách bởi một rào thế. Chuyển pha bậc nhất mang theo nhiệt ẩn, hiện tượng trễ, và — tính chất quan trọng nhất với bài này — trạng thái siêu bền: nước tinh khiết có thể siêu lạnh dưới $0^\circ\mathrm{C}$ mà vẫn lỏng, cho tới khi một mầm kết tinh xuất hiện và toàn khối đông cứng tức thì. Mô hình mean-field của Weiss (1907) là bối cảnh toán tối giản nơi cấu trúc hai đáy này lộ ra; không cần tới lời giải Onsager.

Điểm Phân Kỳ Của Hàng Đợi #

Kleinrock (1975) đưa ra phiên bản chuyển pha liên tục quen thuộc nhất với kỹ sư. Với hàng đợi M/M/1 có tốc độ xử lý $\mu$ và utilization $\rho = \lambda/\mu$, thời gian chờ trung bình là

$W$ phân kỳ khi $\rho \to 1$, và đạo hàm mới là phần bẻ gãy trực giác: độ dốc độ trễ tại $\rho = 0.8$ đã gấp $6.25$ lần tại $\rho = 0.5$. “Còn 20% headroom” không phải khoản dự phòng tuyến tính; nó là vách dựng đứng của một đường hyperbola.

Nhưng mô hình cổ điển dự đoán một sự phân kỳ êm đềm — công việc vẫn hoàn thành, chỉ muộn hơn. Hệ thống thật không có lựa chọn đó. Buffer hữu hạn, timeout phía client và chi phí điều phối biến đường tiệm cận trơn thành cú rơi gián đoạn của đầu ra hữu ích. Mục IV thực hiện phép suy diễn đó từng bước; phiên bản ngắn: đường cong M/M/1 mô tả đoạn tiến vào chuyển pha, còn động lực học bậc nhất mô tả điều xảy ra tại đó.

Giới Hạn Của Hệ Hữu Hạn #

Một ranh giới phải vạch rõ trước khi áp dụng bất kỳ điều gì ở trên. Theo Goldenfeld (1992) và lý thuyết không điểm hàm phân hoạch của Yang–Lee (1952), chuyển pha chính xác về mặt toán học — điểm phi giải tích của năng lượng tự do — chỉ tồn tại ở giới hạn nhiệt động lực $N \to \infty$. Cụm 200 node, hay kể cả 18,000 node của Roblox, vẫn là hệ hữu hạn: đường cong của nó là crossover dốc, không phải kỳ dị thật, và khúc cua tại điểm tới hạn trơn hơn hình mẫu hệ vô hạn. Stumpf & Porter (2012) bổ sung lời cảnh báo song song: đừng tuyên bố tính phổ quát từ dữ liệu hữu hạn nhiều nhiễu. Vì vậy bài này dùng “chuyển pha” như một mô hình xấp xỉ kiểm chứng được bằng số liệu — các dự đoán của nó (hai nhánh cùng tồn tại, capacity drop, tín hiệu cảnh báo sớm) đối chiếu được với đo đạc — chứ không phải tuyên bố về kỳ dị toán học trên phần cứng production.

Ký hiệu. $\eta$ — tham số trật tự; $F$ — năng lượng tự do; $\lambda$ — tốc độ yêu cầu đến; $\mu$ — tốc độ xử lý; $\rho = \lambda/\mu$ — utilization (tham số điều khiển); $W$ — thời gian chờ trung bình; $\rho_c$ — utilization tới hạn; $T_o$ — timeout phía client; $G$ — goodput; $\kappa$ — trị riêng tốc độ hồi phục (ngữ cảnh Mục VI); $\alpha$ — hệ số tự tương quan trễ bậc 1.

IV. Ánh Xạ Sang Kiến Trúc Phần Mềm #

Giá trị của ngôn ngữ vật lý không nằm ở trang trí; nó cung cấp đúng những khái niệm mà lý thuyết hàng đợi cổ điển thiếu — hai trạng thái ổn định song song, mầm kích hoạt, capacity drop. Bảng ánh xạ tường minh:

Chuỗi Suy Diễn: Vì Sao Vách Đá Là Thuộc Tính Cấu Trúc #

Phép suy diễn không cần giả định lạ nào — chỉ cần timeout và tài nguyên dùng chung:

1. Leo dốc hàng đợi. Khi $\lambda \to \mu$, chiều dài hàng đợi và $W$ leo theo đường hyperbola của Kleinrock. Chưa có gì hỏng; đây vẫn là vùng liên tục.
2. Nghịch đảo timeout. Khi $W$ vượt timeout $T_o$, phía upstream bỏ cuộc — nhưng server không biết điều đó. Nó tiếp tục rút các yêu cầu đã hết hạn ra khỏi hàng đợi, trả đủ chi phí xử lý cho từng yêu cầu, rồi ghi kết quả vào những kết nối đã đóng. Goodput tách khỏi throughput: $G \approx \lambda_{\text{admitted}} \cdot P(W \le T_o)$, và xác suất đó đang sập.
3. Đốt năng lực vào điều phối. Tranh chấp tài nguyên biến phần năng lực còn lại thành chi phí phối hợp. Universal Scalability Law của Gunther viết tường minh số hạng này — throughput theo mức song song $N$ là $X(N) = \frac{\gamma N}{1 + \sigma(N-1) + \kappa N(N-1)}$, trong đó số hạng bậc hai $\kappa$ là coherency cost. Hình ảnh cụ thể: 128 thread hội tụ vào một record tranh chấp; một thread giữ spinlock trong 1 mili-giây, 127 thread còn lại busy-wait, đốt trọn chu kỳ CPU để không tạo ra gì. Tốc độ xử lý hiệu dụng $\mu_{\text{eff}}$ giảm đúng lúc nhu cầu cao nhất.
4. Tự củng cố. $\mu_{\text{eff}}$ giảm kéo utilization hiệu dụng $\rho_{\text{eff}} = \lambda / \mu_{\text{eff}}$ tăng ngay cả khi offered load đứng yên. Hệ trượt xuống đáy thứ hai của năng lượng tự do và ở lại đó: trạng thái kẹt tự nhất quán, được nuôi bằng công việc chết và tranh chấp khóa — không cần gì thêm.

Lưu ý điều mà lập luận này không dùng tới: retry. Retry khuếch đại chồng thêm một vòng phản hồi dương lên cấu trúc trên và làm mọi thứ tệ hơn; động lực học của nó được dành riêng cho một bài sau trong series. Vách đá tồn tại mà không cần nó.

V. Động Lực Học Cấu Trúc & Điểm Bùng Phát #

Điều Kiện Biên #

Ba đại lượng hữu hạn giới hạn động lực học: sức chứa buffer $B$ (hàng đợi không nuốt được backlog vô hạn), timeout $T_o$ (công việc có hạn sử dụng), và hệ số coherency $\kappa > 0$ (trạng thái dùng chung khiến chi phí phối hợp tăng trên tuyến tính). Dưới các ràng buộc này, đường goodput $G(\rho)$ không đơn trị ở gần chuyển pha: trong một khoảng utilization, hai nhánh cùng tồn tại — nhánh goodput cao thừa kế từ pha lưu thông tự do, và nhánh goodput thấp được công việc chết giữ vững. Hệ nằm trên nhánh nào phụ thuộc lịch sử của nó, không chỉ phụ thuộc mức tải hiện tại. Đó là lý do báo cáo “tải đã về bình thường mà hệ vẫn không hồi” là hiện tượng vật lý bình thường, không phải bí ẩn.

Vật lý giao thông bổ sung một tinh chỉnh đáng giữ. Lý thuyết ba pha của Kerner, xây từ dữ liệu cao tốc Đức, phê phán bức tranh hai pha là quá sạch: giữa lưu thông tự do và khối kẹt cứng còn có synchronized flow — dòng xe dày, chậm hơn, phương sai lớn, nhưng vẫn tải được khối lượng đáng kể. Server thể hiện đúng pha trung gian đó. Node chạy 90% CPU không chết tại chỗ; nó vận hành hàng phút, hàng giờ trong vùng tranh chấp nặng, độ trễ phân tán rộng nhưng goodput vẫn giữ. Hệ quả thực dụng: khoảng hai-nhánh là có thật nhưng có một “vai đường” sống được, và hệ cảnh báo nào coi mọi lần bước vào vai đường là sập sẽ dựng người trực dậy vì một pha có thể tồn tại vô hại. Thứ cần phân tích là cú thoát khỏi vai đường để rơi xuống nhánh kẹt.

Điểm Bùng Phát Trong Production #

NSFNET, tháng 10/1986. Vách đá goodput đầu tiên được ghi nhận ở quy mô mạng. Router bão hòa xả bỏ gói tin; bên gửi truyền lại mà không hề chậm lại, nên tỉ lệ ngày càng lớn của dung lượng đường truyền chở những byte chắc chắn sẽ bị xả bỏ lần nữa — công việc chết đang di chuyển. Goodput rơi cỡ 1000 lần trong khi đường truyền vật lý vẫn khỏe. Congestion avoidance của Jacobson, nói bằng ngôn ngữ bài này, là một bộ điều khiển phân tán giữ $\rho$ của mọi bên gửi vĩnh viễn dưới $\rho_c$; nửa câu chuyện về vòng phản hồi xin gác lại, nhưng bản thân vách đá là bài toán kinh tế thuần túy của công việc chết.

Roblox, tháng 10/2021. Outage 73 giờ, đọc như một thí nghiệm trình diễn về bẫy siêu bền. Mầm kích hoạt: tính năng streaming của Consul vừa bật dồn tranh chấp vào một Go channel duy nhất dưới tải đọc/ghi lớn, đẩy BoltDB vào chế độ duy trì freelist bệnh lý. Độ trễ ghi p50 nhảy từ dưới 300 ms lên 2 giây — cú nhảy gián đoạn, không phải trôi dần — và mọi hệ phụ thuộc (Vault, Nomad) timeout dây chuyền. Phần đáng học nằm ở nỗ lực cứu hộ thất bại: đội kỹ sư thay cả cụm Consul bằng máy 128 core, ổ NVMe, và không ăn thua, vì ràng buộc trói hệ là coherency cost chứ không phải thiếu compute. Hồi phục chỉ đến khi gỡ đúng cơ chế tạo mầm (tắt streaming) và nạp lại traffic từ 0 theo từng bậc nhỏ qua DNS steering. Nhánh kẹt phải được thoát xuống dưới; không mua đường thoát bằng phần cứng được.

Hai sự cố DynamoDB 2015 và Slack 2021 đã mổ xẻ ở bài trước nằm trên cùng giản đồ này: cả hai đều là hệ đã rơi sang nhánh thấp và ở lại đó. Cơ chế giữ chúng ở đó — retry khuếch đại — thuộc về một bài sau; vị trí của chúng trên giản đồ pha thì xác lập tại đây.

VI. Mô Phỏng Định Lượng #

Ba mô phỏng (numpy/matplotlib; script lưu trong thư mục assets của series) kiểm tra độc lập ba luận điểm.

Mô phỏng A — đoạn leo dốc là hyperbola, không phải đường thẳng. Tính trực tiếp thời gian chờ M/M/1 tại $\mu = 1000$ req/s. $W$ = 2 ms tại $\rho = 0.5$, 5 ms tại $\rho = 0.8$, 20 ms tại $\rho = 0.95$ — và độ dốc cục bộ tăng từ 4 ms lên 25 ms trên mỗi đơn vị utilization giữa hai điểm đầu. 20% “headroom” cuối cùng chứa gần trọn ngân sách độ trễ.

Mô phỏng B — capacity drop, không có dòng retry nào trong code. Cellular automaton Nagel–Schreckenberg trên vòng 500 ô với quy tắc slow-to-start của Barlović ($v_{max}=5$, $p=1/64$, $p_0=0.75$). Mỗi mật độ chạy từ hai điều kiện khởi đầu. Xuất phát đồng nhất vẽ ra nhánh siêu bền lưu lượng cao, sống sót tới $\rho = 0.16$ và đạt đỉnh $J = 0.79$; xuất phát từ khối kẹt đặc rơi về nhánh dòng-ra-khỏi-kẹt, đi ngang quanh $J = 0.21$. Tại mật độ nơi nhánh siêu bền đạt đỉnh, nhánh kẹt tải ít hơn 73%. Giữa $\rho = 0.07$ và $0.16$, hai nhánh cùng tồn tại — và không tham số nào được tinh chỉnh để tạo ra điều đó: riêng sự bất đối xứng slow-to-start (phần tử đã dừng khởi động lại chậm chạp) là toàn bộ cơ chế. Trong server, bất đối xứng đó là cold cache, connection pool đã cạn, page cache đầy dữ liệu sai.

Mô phỏng C — cảnh báo đến trước vách đá. Một hàng đợi thời gian rời rạc chịu tải tăng chậm $\rho: 0.50 \to 0.99$ trong 300,000 tick. Gần chuyển pha, trị riêng hồi phục $\kappa \to 0^-$, nên hệ số AR(1) $\alpha = e^{\kappa \Delta t} \to 1$ và phương sai dừng $\sigma^2 = \mathbb{E}[\epsilon^2]/(1-\alpha^2)$ phân kỳ (Scheffer et al., 2009). Hàng đợi tái hiện đúng dự đoán: phương sai cuộn tăng từ 3.2 tại $\rho = 0.6$ lên 11 tại $\rho = 0.75$ — vượt mốc $3\times$ mức nền trong khi chiều dài hàng đợi trung bình còn trông phẳng lặng — rồi 56 tại $\rho = 0.9$ và 707 tại $\rho = 0.98$; tự tương quan trễ bậc 1 leo 0.87 → 0.95 → 0.985 → 0.999. Giá trị trung bình chỉ trở nên đáng báo động sau $\rho \approx 0.95$, rất lâu sau khi cả hai thống kê bậc hai đã rời khỏi vùng an toàn.

VII. Hệ Quả Kiến Trúc & Sự Đánh Đổi #

Một phản biện chính đáng cần trả lời trước: lý thuyết hàng đợi cổ điển cộng capacity planning là một ngành đã trưởng thành — ngôn ngữ vật lý mua thêm được gì? Ba thứ mà M/M/1 đơn thuần không cung cấp: một cơ chế cho phần thâm hụt goodput sau bão hòa (capacity drop không có tham số nào trong mô hình hàng đợi tĩnh), một chỉ báo dẫn đường (phương sai và tự tương quan tăng theo critical slowing down, trong khi độ trễ trung bình là chỉ báo trễ), và ranh giới bậc nhất / liên tục — thứ tách hệ suy giảm có tiếng động khỏi hệ đóng băng không báo trước. Ở đâu ba thứ đó không cộng thêm gì — service stateless, timeout rộng rãi, không trạng thái dùng chung — thì capacity planning cổ điển là đủ, và bộ từ vựng nặng hơn nên được bỏ xuống.

Heuristics Chiến Lược #

1. Định nghĩa sức chứa bền vững tại điểm knee, không phải đỉnh benchmark. Giá trị cực đại đo trong load-test là đỉnh của nhánh siêu bền — điểm vận hành mong manh nhất mà hệ có. Hoạch định theo “90% của peak” là xếp lịch cho cả fleet đậu ngay trên đó. Hãy neo sức chứa tại điểm knee của đường cong độ trễ, nơi phương sai bắt đầu tăng (trong các mô phỏng ở đây, $\rho \approx 0.7\text{–}0.75$); mọi thứ phía trên knee là thời gian vay mượn, và phải được định giá đúng như vậy.
2. Chĩa SLI vào thống kê bậc hai. Thêm phương sai cuộn và tự tương quan trễ bậc 1 của độ trễ (hoặc độ sâu hàng đợi) trên cửa sổ ngắn vào rổ cảnh báo, và hiệu chỉnh theo mức nền của chính service đó — vai đường synchronized flow tạo ra phân tán cao mà vẫn sống được, nên tín hiệu là xu hướng tiến về 1.0 và độ dốc của phương sai, không phải một mức tuyệt đối nào. DAGOR của WeChat là bằng chứng production: admission control bám vào thời gian chờ trung bình trong hàng đợi với ngưỡng 20 ms — chính là điểm knee — so với timeout 500 ms, và xả ngay 50% request có độ ưu tiên thấp nhất tại entry service khi ngưỡng bị vượt. Dưới tải lễ Tết gấp 10 lần, cách này giữ tỉ lệ thành công cao gấp 1.5–2 lần so với không có overload control, trên 3,000 microservice.
3. Đã kẹt thì xả sâu, nạp lại theo bậc. Trên nhánh kẹt, gọt tải 10–20% chỉ đậu hệ đúng chỗ mà sàn capacity drop giữ nó. Muốn thoát phải cắt tải nhận vào xuống sâu dưới sức chứa định mức — 60–80%, hoặc về 0 như DNS steering của Roblox — giữ đủ lâu cho hàng đợi cạn và tranh chấp tan, rồi nạp lại theo từng bậc. Đây là một kill switch có sẵn kèm runbook đã diễn tập, không phải thứ ứng biến giữa sự cố.

Ma Trận Đánh Đổi #

VIII. Tài Liệu Tham Khảo #

• Barlović, R., Santen, L., Schadschneider, A., & Schreckenberg, M. (1998). Metastable states in cellular automata for traffic flow.
• Goldenfeld, N. (1992). Lectures on Phase Transitions and the Renormalization Group. Addison-Wesley.
• Gunther, N. (2007). Guerrilla Capacity Planning. Springer.
• Jacobson, V., & Karels, M. (1988). Congestion Avoidance and Control.
• Kerner, B. S. (2004). The Physics of Traffic. Springer.
• Kleinrock, L. (1975). Queueing Systems, Volume 1: Theory. Wiley.
• Landau, L. D., & Lifshitz, E. M. (1980). Statistical Physics, Part 1 (3rd ed.). Pergamon Press.
• Nagel, K., & Schreckenberg, M. (1992). A cellular automaton model for freeway traffic.
• Roblox Engineering (2022). Roblox Return to Service 10/28–10/31 2021.
• Scheffer, M., Bascompte, J., Brock, W. A., et al. (2009). Early-warning signals for critical transitions.
• Stumpf, M. P. H., & Porter, M. A. (2012). Critical truths about power laws.
• Yang, C. N., & Lee, T. D. (1952). Statistical theory of equations of state and phase transitions.
• Zhou, H., Chen, M., Lin, Q., et al. (2018). Overload Control for Scaling WeChat Microservices.
• Beyer, B., Jones, C., Petoff, J., & Murphy, N. R. (2016). Site Reliability Engineering: Handling Overload. O’Reilly.