Thẻ tín dụng Apple, ra mắt vào tháng 8, gặp vấn đề lớn tuần trước khi người dùng nhận thấy rằng nó dường như cung cấp hạn mức tín dụng nhỏ hơn cho phụ nữ so với nam giới. Sự kiện lan truyền trên Twitter, với những người nổi tiếng trong ngành công nghệ đánh đấm thẻ Apple là “sexist,” “beyond f’ed up,” và vân vân. Ngay cả Steve Wosniak, người sáng lập đáng yêu của Apple, cũng tỏ ra tò mò, nhẹ nhàng tỏ ý liệu thẻ có thể có chút xu hướng phân biệt đối xử với phụ nữ. Không lâu sau đó, một cơ quan quản lý tài chính đã vào cuộc điều tra về cách thẻ hoạt động để xem liệu nó có vi phạm bất kỳ quy tắc tài chính nào không.
Phản ứng từ phía Apple chỉ làm gia tăng sự nhầm lẫn và nghi ngờ. Không ai từ công ty có vẻ có khả năng mô tả cách thuật toán hoạt động, chẳng qua là chứng minh sự đầu ra của nó. Trong khi đó, Goldman Sachs, ngân hàng phát hành thẻ Apple, khẳng định ngay từ đầu rằng không có độ chệch giới tính nào trong thuật toán, nhưng không cung cấp bằng chứng nào cả. Sau đó, cuối cùng, Goldman tìm ra một bảo vệ có vẻ chắc chắn: Thuật toán, họ nói, đã được kiểm tra chống lại độ chệch tiềm ẩn bởi một bên thứ ba; hơn nữa, nó thậm chí không sử dụng giới tính như một biến đầu vào. Làm thế nào ngân hàng có thể phân biệt nếu không ai bao giờ cho họ biết khách hàng nào là phụ nữ và khách hàng nào là nam?
Giải thích này gây lạc quan theo hai cách. Một điều là, hoàn toàn có thể thuật toán phân biệt đối xử theo giới tính, ngay cả khi chúng được lập trình để “mù” với biến đó. Một điều khác là, áp đặt sự mù quáng chủ ý đối với một điều quan trọng như giới tính chỉ làm cho việc của một công ty khó khăn hơn trong việc phát hiện, ngăn chặn và đảo ngược sự độ chệch về biến đó.
Điểm đầu tiên rõ ràng hơn. Một thuật toán mù giới tính có thể thiên lệch đối với phụ nữ miễn là nó sử dụng bất kỳ biến đầu vào nào hoặc các biến đầu vào đó tình cờ tương quan với giới tính. Có nhiều nghiên cứu chỉ ra cách những “quỹ đạo thay thế” như vậy có thể dẫn đến độ chệch không mong muốn trong các thuật toán khác nhau. Nghiên cứu đã chỉ ra, ví dụ, khả năng tín dụng có thể được dự đoán thông qua một điều đơn giản như việc bạn sử dụng máy Mac hay máy PC. Nhưng các biến khác, như địa chỉ nhà, có thể làm đại diện cho chủng tộc. Tương tự, nơi mà người ta mua sắm có thể chồng chéo với thông tin về giới tính của họ. Cuốn sách Vũ Khí của Sự Hủy Diệt Toán Học, của Cathy O’Neil, một người quants trước đây của Wall Street, mô tả nhiều tình huống nơi các quỹ đạo thay thế đã giúp tạo ra các hệ thống tự động thiên lệch và bất công, không chỉ trong tài chính mà còn trong giáo dục, tư pháp hình sự và chăm sóc sức khỏe.
Ý tưởng rằng việc loại bỏ một biến đầu vào sẽ loại bỏ độ chệch là “một quan điểm rất phổ biến và nguy hiểm,” như Rachel Thomas, giáo sư tại Đại học San Francisco và người sáng lập Fast.ai, một dự án giảng dạy về Trí tuệ Nhân tạo, nói.
Điều này chỉ sẽ trở thành một đau đầu lớn hơn đối với các công ty tiêu dùng khi họ ngày càng phụ thuộc vào các thuật toán để đưa ra các quyết định quan trọng về khách hàng—và khi công chúng trở nên đa nghi hơn về thực hành này. Chúng ta đã thấy Amazon rút lại một thuật toán sử dụng trong tuyển dụng do chệch giới tính, Google bị chỉ trích vì một tính năng tự động hoàn thiện có tư tưởng phân biệt chủng tộc, và cả IBM và Microsoft đều bị xấu hổ với các thuật toán nhận diện khuôn mặt vốn tốt hơn trong việc nhận diện nam giới hơn là phụ nữ, và nhận diện người da trắng hơn là những người thuộc các chủng tộc khác nhau.
Điều này có nghĩa là cần phải kiểm tra kỹ lưỡng thuật toán để đảm bảo rằng độ chệch không bao giờ nặc vào. Đúng, Goldman Sachs đã nói về điều đó trong tuyên bố của họ tuần trước. Nhưng thực tế là giới tính của khách hàng không được thu thập sẽ làm cho cuộc kiểm tra đó ít hiệu quả hơn. Theo Thomas, các công ty thực sự phải “đo lường tích cực các thuộc tính được bảo vệ như giới tính và chủng tộc” để chắc chắn thuật toán của họ không chệch đối với chúng.
Viện Brookings đã xuất bản một báo cáo hữu ích vào tháng 5 về phát hiện và giảm thiểu độ chệch thuật toán. Nó đề xuất kiểm tra dữ liệu đưa vào thuật toán cũng như đầu ra của nó để kiểm tra liệu nó liệu trình đối xử khác biệt giữa nam và nữ, trung bình, hay liệu có tỷ lệ lỗi khác nhau cho nam và nữ.
Mà không biết giới tính của một người, những kiểm tra như vậy sẽ khó khăn hơn nhiều. Có thể có khả năng cho một kiểm toán viên suy luận giới tính từ các biến đã biết và sau đó kiểm tra độ chệch dựa trên đó. Nhưng điều này không đảm bảo 100%, và không thể chỉ ra liệu bất kỳ người nào cụ thể có bị độ chệch hay không, theo O’Neil, tác giả của cuốn sách Vũ Khí của Sự Hủy Diệt Toán Học.
Báo cáo của Brookings cũng đề xuất thuê các chuyên gia pháp lý cũng như chuyên gia kỹ thuật để theo dõi thuật toán và ngăn chặn độ chệch không có ý định sau khi chúng đã được triển khai.
Thực tế là các doanh nghiệp tài chính bị cấm bởi Đạo luật Cơ hội Tín dụng Bình đẳng sử dụng thông tin như giới tính hoặc chủng tộc trong quyết định thuật toán có thể làm tình hình trở nên tồi tệ hơn bằng cách ngăn cản những doanh nghiệp đó thu thập thông tin quan trọng này từ đầu, theo lời của Paul Resnick, đồng tác giả của báo cáo Brookings và giáo sư tại Trường Thông tin của Đại học Michigan. “Việc kiểm tra thuật toán một cách có ý nghĩa không đơn giản,” ông nói. “Nhưng nó quan trọng để thực hiện.”
- Star Wars: Điều Chưa Kể về Sự Trỗi Dậy của Skywalker
- Cách thiết kế ngớ ngẩn của máy bay Chiến tranh thế giới thứ Hai đã dẫn đến Macintosh
- Hacker có thể sử dụng tia laser để “nói chuyện” với Amazon Echo của bạn
- Xe điện—và sự phi lý—có thể cứu sống hộp số cơ bản
- Các bộ phim Trung Quốc rộng lớn khiến Hollywood phải xấu hổ
- 👁 Một cách an toàn để bảo vệ dữ liệu của bạn; ngoài ra, hãy kiểm tra tin tức mới nhất về Trí tuệ Nhân tạo
- ✨ Tối ưu hóa cuộc sống gia đình của bạn với các lựa chọn tốt nhất của đội ngũ Gear chúng tôi, từ robot hút bụi đến đệm giá rẻ đến loa thông minh.