GiaoThuc.comGiao Thức
HTTP và cách web nói chuyện

Nén HTTP gzip và Brotli: Accept-Encoding, Content-Encoding, thương lượng nội dung

Nén HTTP hoạt động thế nào: Accept-Encoding và Content-Encoding, gzip khác Brotli và zstd ra sao, nén gì không nén gì, Vary và rủi ro BREACH ở mức cơ chế.

Hands vacuum-packing folded clothes into a flat plastic bag at a small parcel shop in Nha Trang, cardboard boxes stacked behind, bright overhead light, close-up angle

Nén HTTP là việc máy chủ nén thân phản hồi trước khi gửi, theo một thuật toán mà trình duyệt đã báo là giải được qua header Accept-Encoding; máy chủ ghi thuật toán đã dùng vào header Content-Encoding để trình duyệt giải nén. Với HTML, CSS, JavaScript, JSON, dung lượng truyền đi thường giảm còn một phần nhỏ so với ban đầu. Hai thuật toán phổ biến nhất hiện nay là gzip và Brotli.

Bài này đi qua cuộc thương lượng nén giữa hai bên, so sánh các thuật toán, chỉ ra loại nội dung nên và không nên nén, phân biệt Content-Encoding với Transfer-Encoding, mở rộng sang thương lượng nội dung nói chung với Accept và Vary, rồi kết thúc ở rủi ro bảo mật của nén qua HTTPS ở mức cơ chế. Cấu hình cụ thể cho từng phần mềm máy chủ nằm ngoài phạm vi bài.

Nén HTTP giống hút chân không quần áo trước khi gửi

Một tiệm gửi hàng nhận gói quần áo cồng kềnh. Họ hỏi nơi nhận có máy để bung túi hút chân không ra không. Nếu có, họ hút chân không cho gói xẹp lại, dán nhãn "đã hút chân không" rồi gửi; cước tính theo thể tích nên rẻ hơn. Nếu nơi nhận không có cách mở, họ gửi nguyên gói. Hàng nào vốn đã nén chặt như hộp sắt thì hút cũng chẳng xẹp thêm, họ để nguyên.

Nén HTTP vận hành đúng như thế. Trình duyệt nói trước nó giải được những kiểu nén nào. Máy chủ chọn một kiểu, nén thân, ghi nhãn trong header, rồi gửi. Băng thông tiết kiệm được đổi lấy một chút công tính toán ở hai đầu, và với nội dung chữ thì cuộc đổi chác này gần như luôn có lợi: CPU hiện đại nén và giải nén nhanh hơn nhiều so với thời gian truyền các byte thừa, nhất là trên mạng di động.

Điều cần nhớ là nén HTTP thuộc về biểu diễn của tài nguyên. Một tệp CSS nén gzip và chính tệp đó không nén là hai biểu diễn khác nhau của cùng một tài nguyên, có độ dài khác nhau, ETag nên khác nhau, và bộ nhớ đệm phải lưu riêng. Phần lớn rắc rối quanh nén đến từ việc quên điều này.

Thương lượng nén diễn ra thế nào

Cả cuộc thương lượng chỉ gói trong hai header ở hai chiều, cộng một header dành cho bộ nhớ đệm. Từng bước, với ví dụ giả định là một tệp JavaScript:

  1. Trình duyệt gửi yêu cầu kèm Accept-Encoding liệt kê các kiểu giải được, ví dụ gzip, deflate, br, và ở trình duyệt mới có thể thêm zstd. Có thể kèm trọng số q để nói mức ưa thích.
  2. Máy chủ chọn một kiểu nằm trong danh sách, thường là kiểu nén tốt nhất nó hỗ trợ cho loại nội dung đó. Nếu không có kiểu nào chung, nó gửi bản không nén.
  3. Máy chủ gửi phản hồi với thân đã nén, header Content-Encoding: br chẳng hạn, và Content-Length bằng số byte sau nén. Nếu nén trong lúc gửi mà chưa biết độ dài, nó dùng truyền theo khúc ở HTTP/1.1 hoặc cờ kết thúc luồng ở HTTP/2.
  4. Máy chủ thêm Vary: Accept-Encoding để mọi bộ nhớ đệm trên đường biết rằng phản hồi thay đổi theo header này, không được đưa bản br cho người gửi chỉ hiểu gzip.
  5. Trình duyệt giải nén rồi mới đưa nội dung cho phần dựng trang. Mã JavaScript của trang chỉ thấy bản đã giải, còn thẻ Network hiển thị cả hai con số: dung lượng truyền và dung lượng thật.

Nhìn vào cột kích thước trong thẻ Network là cách nhanh nhất để biết một tệp có được nén hay không: hai con số gần bằng nhau với một tệp chữ lớn là dấu hiệu nén chưa được bật cho loại tệp đó.

gzip, deflate, Brotli và zstd khác nhau thế nào

Bốn mã nén bạn sẽ gặp trong Accept-Encoding. Bảng dưới so ở góc giao thức và triển khai, không đưa tỷ lệ nén cụ thể vì nó phụ thuộc nhiều vào nội dung và mức nén chọn:

MãNền tảngĐặc điểm
gzipĐịnh dạng gzip, RFC 1952 năm 1996, dùng thuật toán DEFLATEĐược hỗ trợ ở gần như mọi phần mềm HTTP; lựa chọn an toàn mặc định.
deflateDữ liệu DEFLATE bọc theo định dạng zlibTừng bị các bên hiểu khác nhau, có bên gửi DEFLATE trần không bọc, nên ít được dùng.
brBrotli, RFC 7932 năm 2016Có sẵn một từ điển các chuỗi hay gặp trên web; với nội dung chữ thường nén tốt hơn gzip ở mức nén tương đương. Trình duyệt chỉ quảng cáo br qua HTTPS.
zstdZstandard, RFC 8878 năm 2021Nén và giải nén rất nhanh; một số trình duyệt mới đã thêm hỗ trợ, nên kiểm theo phiên bản hiện hành.

Mỗi thuật toán có nhiều mức nén. Mức cao nén chặt hơn nhưng tốn CPU hơn nhiều, nên hợp với tệp tĩnh được nén sẵn một lần lúc triển khai rồi phục vụ mãi. Nội dung sinh động nén theo từng yêu cầu thì thường dùng mức vừa phải, vì nén quá kỹ có thể làm máy chủ chậm hơn chính thời gian tiết kiệm được trên đường truyền.

Nén cái gì, không nén cái gì

Nén hiệu quả với dữ liệu có nhiều lặp lại: HTML, CSS, JavaScript, JSON, XML, SVG, tệp văn bản, phông chữ định dạng cũ. Một tệp CSS có hàng trăm lần chữ "margin", "padding", "color" là món ngon cho thuật toán nén. Ví dụ giả định: một tệp JavaScript 300 KB sau khi nén có thể chỉ còn khoảng một phần tư đến một phần năm, tuỳ nội dung và thuật toán.

Ngược lại, đừng nén lại những gì đã nén. Ảnh JPEG, PNG, WebP, AVIF, video MP4, âm thanh MP3, tệp zip và phông WOFF2 đều đã được nén bằng thuật toán chuyên dụng. Nén thêm bằng gzip gần như không giảm được byte nào, có khi còn tăng vài byte phần đầu, trong khi vẫn tốn CPU ở cả hai đầu. Phần mềm máy chủ thường có danh sách kiểu nội dung được nén; danh sách đó nên chỉ gồm các định dạng chữ.

Phản hồi quá nhỏ, cỡ vài trăm byte, cũng không đáng nén: phần đầu của định dạng nén cộng công tính toán ăn hết phần tiết kiệm, và một gói tin mạng vẫn chở được chừng đó dữ liệu. Nhiều cấu hình đặt ngưỡng tối thiểu, dưới ngưỡng thì gửi thẳng.

Cuối cùng là chuyện nén ở đâu. Nếu cả ứng dụng lẫn proxy ngược phía trước cùng nén, có thể xảy ra nén chồng hoặc proxy phải giải ra rồi nén lại. Cách gọn là chọn một tầng chịu trách nhiệm nén, thường là tầng gần người dùng nhất, và tắt ở tầng còn lại.

Content-Encoding khác Transfer-Encoding ở đâu

Content-Encoding là thuộc tính của biểu diễn, mang tính đầu cuối: máy chủ nén, bản nén có thể được lưu trong bộ nhớ đệm, chuyển qua nhiều proxy, và chỉ người nhận cuối cùng giải nén. Một tệp tải về với Content-Encoding gzip vẫn được coi là tệp gốc, trình duyệt giải nén trước khi lưu ra ổ đĩa. Mọi phép đo trên biểu diễn, như Content-Length hay đoạn byte trong Range, đều tính trên bản đã nén.

Transfer-Encoding là chuyện của từng chặng kết nối ở HTTP/1.1, và được liệt vào nhóm header từng chặng. Giá trị phổ biến gần như duy nhất là chunked, cắt thân thành khúc để gửi khi chưa biết độ dài. Về lý thuyết, Transfer-Encoding cũng nhận gzip, cho phép nén riêng một chặng mà không đổi biểu diễn, nhưng trình duyệt hầu như không hỗ trợ, nên trên web thật nén luôn đi qua Content-Encoding.

Hệ quả thực tế của sự phân biệt này hiện rõ khi tải tiếp tệp. Nếu bạn xin byte thứ 1.000 đến 2.000 của một tài nguyên đang được phục vụ dạng nén, bạn nhận đoạn đó của bản nén, không phải của bản gốc. Vì thế các tệp lớn dành cho tải về, vốn thường đã là định dạng nén sẵn, được phục vụ không kèm Content-Encoding để Range hoạt động dễ đoán. HTTP/2 và HTTP/3 bỏ hẳn Transfer-Encoding, chỉ giữ Content-Encoding.

Thương lượng nội dung rộng hơn nén: Accept, Accept-Language và Vary

Nén chỉ là một trường hợp của cơ chế chung gọi là thương lượng nội dung (content negotiation): một đường dẫn có nhiều biểu diễn, và máy chủ chọn biểu diễn hợp nhất dựa trên các header người gửi khai. Accept nói định dạng mong muốn, ví dụ trình duyệt hiện đại khai nhận được image/avif và image/webp để máy chủ trả ảnh định dạng mới thay vì JPEG. Accept-Language nói ngôn ngữ ưa thích theo thứ tự, kèm trọng số q từ 0 đến 1.

Kiểu thương lượng này gọi là chủ động: máy chủ tự chọn ngay trong một lượt. Đặc tả còn có kiểu phản ứng, trả mã 300 kèm danh sách lựa chọn để người gửi tự chọn, nhưng hầu như không được dùng trên web. Khi không biểu diễn nào khớp, máy chủ có thể trả 406 Not Acceptable, dù phần lớn chọn cách gửi bản mặc định cho xong, vì một trang có còn hơn một trang lỗi.

Mọi lần thương lượng đều phải đi kèm Vary liệt kê các header đã ảnh hưởng tới lựa chọn. Vary là lời dặn bộ nhớ đệm: khoá lưu của phản hồi này gồm cả những header đó. Vary càng nhiều header, đặc biệt những header có vô số giá trị như User-Agent hay Cookie, thì bộ nhớ đệm càng phải lưu nhiều bản và tỷ lệ dùng lại càng thấp. Vì thế nhiều trang chọn tách ngôn ngữ ra đường dẫn riêng thay vì thương lượng theo Accept-Language: dễ lưu đệm, dễ chia sẻ địa chỉ và dễ cho công cụ tìm kiếm lập chỉ mục từng bản.

Nén và bảo mật, cùng những lỗi cấu hình hay gặp

Rủi ro BREACH ở mức cơ chế. Năm 2013, các nhà nghiên cứu công bố kiểu tấn công BREACH: khi một phản hồi qua HTTPS được nén và chứa cùng lúc một bí mật (như mã chống giả mạo biểu mẫu) với một phần nội dung kẻ tấn công điều khiển được (như từ khoá phản chiếu lại trên trang), độ dài sau nén để lộ manh mối về bí mật, vì chuỗi trùng nhau nén được ngắn hơn. Mã hoá TLS không giấu được độ dài.

Cách phòng phổ biến. Không nén các phản hồi vừa chứa bí mật vừa phản chiếu dữ liệu người dùng; làm mã chống giả mạo khác nhau ở mỗi lần hiển thị bằng cách trộn với giá trị ngẫu nhiên; tách bí mật ra khỏi thân trang; giới hạn tần suất yêu cầu. Việc nén tệp tĩnh như CSS, JavaScript không chứa bí mật thì không bị ảnh hưởng.

Quên Vary: Accept-Encoding. Bộ nhớ đệm trung gian lưu bản nén rồi đưa cho một phần mềm không giải được, người dùng nhận một mớ byte vô nghĩa. Lỗi này thường chỉ xuất hiện với một số ít người dùng nên rất khó lần ra.

Ghi Content-Encoding sai thực tế. Thân không nén mà header ghi gzip, hoặc ngược lại, đều làm trình duyệt báo lỗi giải mã nội dung. Hay gặp khi tệp đã được nén sẵn trên ổ đĩa mà máy chủ lại nén thêm, hoặc không gắn header cho tệp nén sẵn.

Nén mức tối đa cho nội dung sinh động. Tiết kiệm thêm vài phần trăm byte nhưng tốn gấp nhiều lần CPU, làm tăng thời gian chờ byte đầu tiên. Đo trên tải thật trước khi tăng mức nén.

Câu hỏi thường gặp

Có cần nén khi đã dùng HTTP/2 nén header rồi không?

Có. HPACK của HTTP/2 và QPACK của HTTP/3 chỉ nén phần header. Thân phản hồi vẫn cần Content-Encoding như ở HTTP/1.1. Hai cơ chế bổ sung cho nhau: một cái giảm phần đầu lặp lại giữa các yêu cầu, một cái giảm khối nội dung chính của từng phản hồi.

Trình duyệt có nén dữ liệu gửi lên máy chủ không?

Mặc định thì không. Thân yêu cầu như biểu mẫu hay JSON được gửi nguyên. Mã JavaScript có thể tự nén rồi gửi kèm header Content-Encoding, nhưng máy chủ phải được cấu hình để nhận, và không có cơ chế thương lượng chuẩn để biết trước máy chủ có hỗ trợ hay không.

Ảnh SVG có nên nén không?

Nên. SVG là định dạng chữ dựa trên XML, có nhiều thẻ và toạ độ lặp lại, nên nén gzip hoặc Brotli giảm dung lượng rõ rệt. Đây là ngoại lệ hay bị bỏ sót vì người cấu hình nghĩ ảnh thì không cần nén. Hãy bảo đảm kiểu nội dung image/svg+xml có trong danh sách được nén.

Nén sẵn tệp tĩnh lúc triển khai có lợi gì?

Tệp được nén một lần ở mức cao nhất, rồi máy chủ chỉ việc chọn bản phù hợp với Accept-Encoding mà không tốn CPU cho mỗi yêu cầu. Cách này hợp với CSS, JavaScript, phông chữ không đổi giữa hai lần triển khai. Cần nhớ cập nhật cả bản nén khi sửa tệp gốc.

Vì sao trên HTTP thường không có br trong Accept-Encoding?

Các trình duyệt chỉ quảng cáo Brotli trên kết nối HTTPS. Một lý do được nêu là một số proxy cũ trên đường HTTP không mã hoá có thể làm hỏng hoặc can thiệp vào kiểu nén chúng không biết. Trên kết nối mã hoá, proxy giữa đường không đọc được nội dung nên không gây ra vấn đề đó.

Nén có làm tăng độ trễ không?

Có thêm một chút thời gian nén và giải nén, nhưng với nội dung chữ thì thời gian tiết kiệm trên đường truyền thường lớn hơn nhiều, nhất là trên mạng chậm. Độ trễ chỉ thật sự tăng khi nén mức quá cao cho nội dung sinh động trên máy chủ yếu, hoặc nén những định dạng vốn không nén thêm được.

Cần tư vấn cụ thể cho trường hợp của bạn?

Chúng tôi sẽ liên hệ trong vòng 24 giờ.

Đăng ký tư vấn ngay

Bài viết liên quan

Bạn cần hỗ trợ thêm?

Để lại thông tin, chúng tôi sẽ liên hệ trong 24 giờ.

hoặc
Gọi ngay 0926 138 138