Cơ Chế Coroutine Trong Skynet

2015-12-01 Khoảng 1100 từ 5 phút

Nội dung

Skynet về cơ bản là một hệ thống phân phối tin nhắn, tổ chức theo mô hình dịch vụ. Mỗi dịch vụ được cấp một ID duy nhất, cho phép bất kỳ dịch vụ nào cũng có thể gửi tin nhắn đến dịch vụ khác. Trên nền tảng này, chúng ta tích hợp máy ảo Lua và đóng gói các API gửi/nhận tin nhắn thành module Lua chuyên dụng. Khi viết dịch vụ bằng Lua, điểm vào duy nhất ở tầng nền tảng chính là hàm xử lý tin nhắn được chuyển tiếp từ khung xương Skynet.

Thông qua API nội bộ skynet.core.callback (được viết bằng C, thường được gọi bởi skynet.start), chúng ta có thể gán một hàm Lua làm hàm xử lý chính cho dịch vụ. Mỗi dịch vụ bắt buộc phải có duy nhất một hàm callback này. Hàm này sẽ nhận 5 tham số khi có tin nhắn đến: loại tin nhắn, con trỏ dữ liệu, độ dài dữ liệu, session tin nhắn và nguồn gốc tin nhắn.

Tin nhắn được chia thành hai loại chính:

Yêu cầu từ dịch vụ khác
Phản hồi cho yêu cầu đã gửi trước đó

Dù thuộc loại nào, tất cả đều được xử lý qua cùng một hàm callback.

Từ Callback đến Gọi Đồng Bộ

Khi sử dụng cú pháp RPC trong Skynet, bạn có thể thực hiện gọi hàm từ xa đến dịch vụ khác và tiếp tục xử lý logic sau khi nhận phản hồi. Câu hỏi đặt ra là: Làm thế nào khung xương chuyển đổi từ mô hình callback bất đồng bộ sang mô hình gọi hàm chặn (blocking)?

Câu trả lời nằm ở coroutine của Lua. Tính năng này cho phép tạm dừng một đoạn mã đang chạy và tiếp tục sau đó, tạo cảm giác như đang thực hiện các thao tác đồng bộ.

Cơ chế hoạt động:

Tạo coroutine khi nhận tin nhắn:
Mỗi khi có tin nhắn yêu cầu đến, Skynet sẽ tạo một coroutine mới để chạy hàm xử lý (dispatch function) được thiết lập qua skynet.dispatch. Việc tạo coroutine ngay từ đầu là bắt buộc, vì không thể biết trước liệu xử lý tin nhắn có gặp API chặn cần tạm dừng hay không.
Sử dụng coroutine.yield để tạm dừng:
Các API chặn như skynet.call sẽ gọi coroutine.yield, truyền ra loại hành động (“CALL”) và dữ liệu liên quan. Khung xương Skynet bắt được các tham số này, ghi nhận session và đối tượng coroutine vào bảng theo dõi, sau đó tạm dừng coroutine và kết thúc callback hiện tại.
Tiếp tục xử lý khi có phản hồi:
Khi nhận được tin nhắn phản hồi, Skynet sẽ tìm coroutine tương ứng theo session và gọi coroutine.resume để tiếp tục xử lý. Từ góc nhìn ứng dụng, toàn bộ quá trình giống như một cuộc gọi đồng bộ đơn giản.

Giải Quyết Xung Đột Với Coroutine Tự Do

Nếu bạn sử dụng trực tiếp thư viện coroutine của Lua, các API chặn của Skynet sẽ không hoạt động đúng. Lý do là coroutine.resume/yield do người dùng tự quản lý sẽ “che” các tín hiệu mà khung xương cần bắt.

Để khắc phục, Skynet cung cấp thư viện skynet.coroutine - một phiên bản tương thích ngược với coroutine gốc, nhưng bổ sung logic xử lý trạng thái:

Khi gọi skynet.coroutine.yield, tham số đầu tiên luôn là loại trạng thái (ví dụ: “USER”).
Khi resume, nếu trạng thái là “USER”, Skynet sẽ loại bỏ tham số này và trả về phần còn lại, ngăn khung xương kết thúc xử lý tin nhắn.
Nếu trạng thái khác (ví dụ: “CALL”), tín hiệu sẽ được chuyển lên khung xương để tạm dừng luồng xử lý.

Trạng Thái “Blocked” Đặc Biệt

skynet.coroutine mở rộng trạng thái coroutine thêm “blocked” - biểu thị coroutine đang bị khung xương tạm dừng và không thể bị resume từ lớp ứng dụng. Điều này tránh việc gọi resume sai luồng, đảm bảo tính toàn vẹn cho các luồng xử lý song song.

Ứng Dụng Coroutine Trong Thực Tế

Mặc dù Skynet cung cấp skynet.fork để tạo luồng xử lý song song, có trường hợp bạn vẫn cần dùng trực tiếp coroutine. Ví dụ điển hình là sử dụng coroutine như một iterator.

Ví dụ: Phân Tích Dòng Dữ Liệu Lớn

Khi phân tích log hệ thống có kích thước hàng gigabyte, việc tải toàn bộ vào bộ nhớ gây lãng phí và chậm trễ. Giải pháp tối ưu là:

Dùng coroutine để đọc và xử lý dữ liệu theo luồng (streaming).
Trong coroutine, mỗi lần đọc một phần log, chuyển đổi định dạng (ví dụ: ánh xạ địa chỉ bộ nhớ sang chỉ số mảng tĩnh), sau đó yield kết quả.
Vòng lặp chính resume coroutine để nhận dữ liệu từng phần, giảm thiểu sử dụng RAM.

Cơ chế này không chỉ hiệu quả với log, mà còn áp dụng cho các tác vụ như:

Xử lý file CSV/JSON lớn
Phân tích dữ liệu thời gian thực
Tạo dữ liệu giả lập quy mô

Tối Ưu Hiệu Năng Với Bộ Nhớ Tùy Chỉnh

Trong một dự án Skynet, tôi từng phát triển một bộ quản lý bộ nhớ tùy chỉnh để:

Giảm phân mảnh khi đóng/mở dịch vụ Lua
Theo dõi chính xác việc sử dụng bộ nhớ của từng VM

Để kiểm thử, tôi ghi log toàn bộ hành vi cấp/giải phóng bộ nhớ trong môi trường sản phẩm, sau đó dùng coroutine để tái hiện chính xác các tác vụ này trong môi trường thử nghiệm.

Thách Thức:

Dữ liệu log quá lớn (hàng chục GB) không thể tải toàn bộ vào RAM.
Sử dụng bảng băm động để theo dõi địa chỉ gây ảnh hưởng đến kết quả đo hiệu năng.

Giải Pháp:

Tạo mảng tĩnh với kích thước đủ lớn, ánh xạ địa chỉ log sang chỉ số mảng.
Dùng coroutine để đọc log theo luồng, chuyển đổi địa chỉ thành chỉ số mảng và yield kết quả.

Kết quả: