Cộng đồng an toàn AI đã phát triển nhanh chóng kể từ khi ChatGPT đánh động chúng ta, nhưng nguồn tài trợ hiện có dường như không theo kịp.

Tuy nhiên, gần đây có một động lực mới tạo ra những cơ hội tài trợ thậm chí còn tốt hơn, mà tôi đã chứng kiến với tư cách là người giới thiệu trong vòng tài trợ SFF gần đây nhất.^[1]

Hầu hết các nguồn tài trợ cho an toàn AI từ các tổ chức từ thiện (so với chính phủ hoặc ngành công nghiệp) (>50%) đến từ một nguồn: Good Ventures. Nhưng gần đây họ đã ngừng tài trợ cho một số loại công việc (theo phân loại của tôi, không phải của họ):

• Nhiều tổ chức tư vấn chính sách có khuynh hướng Cộng hòa, chẳng hạn như Foundation for American Innovation.
• Các lĩnh vực "hậu căn chỉnh" như tri giác số hoặc quy định về tăng trưởng bùng nổ.
• Cộng đồng duy lý, bao gồm LessWrong, Lightcone, SPARC, CFAR, MIRI.
• Các chương trình tiếp cận học sinh trung học, như Non-trivial.

Ngoài ra, họ hiện không tài trợ (hoặc không tài trợ đầy đủ):

• Nhiều tổ chức tư vấn chính sách ngoài Hoa Kỳ, những tổ chức không muốn bị ảnh hưởng bởi một tổ chức của Hoa Kỳ (hiện có lẽ có hơn 20 tổ chức như vậy).
• Họ tài trợ cho các tổ chức phi lợi nhuận về an toàn kỹ thuật như FAR AI, mặc dù họ có lẽ đang tài trợ không đủ cho lĩnh vực này, một phần do khó tuyển dụng nhân sự cho lĩnh vực này trong vài năm qua (mặc dù gần đây họ có tuyển dụng được).
• Các chiến dịch chính trị, vì các quỹ không thể đóng góp cho các chiến dịch này.
• Các tổ chức mà họ quyết định không đủ tiêu chuẩn tài trợ vì bất kỳ lý do gì (ví dụ: hầu hết các quỹ tác nhân). Open Philanthropy không phải là hoàn hảo, vì vậy một số trong số này có thể vẫn đáng được tài trợ.
• An ninh hạt nhân, vì nó trung bình ít hiệu quả chi phí hơn so với tài trợ trực tiếp cho AI, nên không phải là một trong những lĩnh vực chính thức (mặc dù tôi sẽ không ngạc nhiên nếu có một số cơ hội tốt ở đó).

Điều này có nghĩa là nhiều tổ chức trong các danh mục này chỉ có thể tiếp cận một phần nhỏ của nguồn vốn từ thiện có sẵn (trong lịch sử gần đây, tôi ước tính khoảng 25%). Trong vòng tài trợ gần đây của SFF, tôi ước tính họ phải đối mặt với ngưỡng tài trợ cao gấp 1,5 đến 3 lần.

Điều này tạo ra nhiều cơ hội cho các nhà tài trợ khác: nếu bạn quan tâm đến một trong các danh mục này, hãy tập trung vào việc tìm kiếm các khoảng trống đó.

Ngoài ra, ngay cả trong số các tổ chức có thể nhận tài trợ từ Good Ventures, việc nhận 80% tài trợ từ một nhà tài trợ là một mức độ tập trung cực cao. Bằng cách giúp đa dạng hóa nguồn tài trợ, bạn có thể đạt được hiệu quả cao hơn Good Ventures (điều này khá tuyệt vời vì họ là một quỹ có hơn 20 người cực kỳ thông minh để quyết định nơi tài trợ).

Open Philanthropy (tổ chức tư vấn cho Good Ventures về việc cấp tài trợ) cũng là một tổ chức lớn và có năng lực hạn chế, điều này có nghĩa là họ tương đối dễ bỏ sót các tổ chức nhỏ, mới (<250.000 đô la), các khoản tài trợ cá nhân hoặc các khoản tài trợ cần xử lý nhanh. Vì vậy, các nhà tài trợ nhỏ hơn có thể đóng một vai trò quan trọng bằng cách đóng vai trò là “nhà tài trợ thiên thần”, xác định các tổ chức mới có tiềm năng, sau đó chuyển chúng cho Open Philanthropy để mở rộng quy mô.

Để đáp ứng bối cảnh hấp dẫn này, SFF đã phân bổ hơn $19 triệu cho các khoản tài trợ, so với mục tiêu ban đầu là $5 - $15 triệu. Tuy nhiên, số tiền này vẫn chưa đủ để lấp đầy tất cả các khoảng trống.

SFF đã công bố danh sách các tổ chức sẽ nhận được nhiều tài trợ hơn nếu họ phân bổ thêm 5 triệu hoặc 10 triệu đô la. Danh sách này không hoàn toàn đáng tin cậy, vì ít nỗ lực được dành cho việc suy nghĩ về biên độ này, nhưng nó là một nguồn ý tưởng.

Một số ý tưởng cụ thể đáng cân nhắc theo tôi là (không theo thứ tự ưu tiên):

• SecureBio là một trong những tổ chức hàng đầu về rủi ro sinh học, đặc biệt là ở giao điểm giữa AI và sinh học. SFF đã cấp $250.000 cho tổ chức chính, nhưng tôi sẽ rất vui nếu họ nhận được $1 triệu.
• Nếu bạn không phải là công dân Hoa Kỳ, hãy xem xét tài trợ cho các tổ chức phi lợi nhuận về quản trị AI tại địa phương của bạn, ví dụ: CLTR là tổ chức tư vấn hàng đầu của Anh về an toàn AI; CeSIA và Simon Institute ở châu Âu; và hiện nay còn nhiều tổ chức khác. Nếu bạn là công dân Trung Quốc, có những cơ hội thú vị mà chỉ công dân Trung Quốc mới có thể đóng góp (bạn có thể gửi email cho tôi).
• Center for AI Safety và Action Fund chính trị của họ. Đây là các tổ chức của Dan Hendrycks và đã thúc đẩy một số thành công lớn trong chính sách AI và tư vấn xAI. Họ không nhận tiền từ OP. SFF đã tặng 1,1 triệu đô la cho CAIS và 1,6 triệu đô la cho quỹ hành động, nhưng họ có thể triển khai nhiều hơn.
• METR có lẽ là tổ chức đánh giá hàng đầu và gần đây không nhận được tài trợ từ OP. Họ có nguồn tài trợ ngắn hạn nhưng ngân sách khả năng điện toán đang tăng rất nhanh.
• Apollo Research có ngân sách hàng triệu đô la nhưng chỉ nhận được 250.000 đô la từ SFF. Đây là nhóm đánh giá hàng đầu ở châu Âu và đã thực hiện công việc quan trọng gần đây về o1.
• Lightcone. LessWrong dường như đã hiệu quả về chi phí trong việc xây dựng phong trào, và không gian hội nghị Lightcone cũng có vẻ hữu ích, mặc dù nó nhạy cảm hơn với đánh giá của bạn về giá trị của việc xây dựng cộng đồng lý trí ở Vùng Vịnh. Nó đang phải đối mặt với sự thiếu hụt tài chính lớn.
• MATS Research, Tarbell và dự án của Sam Hammond trong FAI đều có thể sử dụng thêm kinh phí để tiếp nhận thêm thành viên trong các chương trình học bổng AI của họ. MATS có thành tích tốt (trong khi các tổ chức khác còn mới). Có thể sẽ có quy luật hiệu suất giảm dần khi thêm thành viên, nhưng đây vẫn là cách sử dụng kinh phí hợp lý.
• Nếu bạn quan tâm đến hoạt động tiếp cận học sinh trung học, Non-trivial đang thiếu 1 triệu đô la kinh phí.
• Bổ sung thêm cho chương trình tái cấp vốn Manifund hoặc Quỹ giảm thiểu rủi ro từ AI (chuyên về các khoản tài trợ nhỏ hơn, thường là cá nhân).

Tôi không đưa ra khuyến nghị chung chung về việc tài trợ cho các tổ chức này, nhưng chúng có vẻ đáng được xem xét và hy vọng sẽ minh họa một giới hạn dưới sơ bộ cho những gì bạn có thể làm với 10 triệu đô la quỹ biên. Với một chút nỗ lực, bạn có thể tìm thấy những thứ còn tốt hơn.

Tôi không chắc chắn tình hình sẽ phát triển như thế nào. Tôi nghe nói có một số nhà tài trợ mới bắt đầu cấp các khoản tài trợ lớn hơn (ví dụ: Navigation Fund của Jed McCaleb). Và khi An toàn AI trở nên phổ biến hơn, tôi kỳ vọng sẽ có thêm nhiều nhà tài trợ tham gia. Có lẽ những khoảng trống cấp bách nhất sẽ được lấp đầy trong một vài năm tới. Nếu điều đó là sự thật, thì việc tài trợ ngay bây giờ có thể là một lựa chọn có tầm ảnh hưởng đặc biệt.

Trong tương lai, cũng có thể có cơ hội đầu tư số vốn lớn vào các nỗ lực căn chỉnh AI có thể mở rộng, vì vậy có thể các cơ hội trong tương lai sẽ còn tốt hơn. Nhưng có những lý do cụ thể để tin rằng hiện tại có những cơ hội tốt.

Nếu bạn quan tâm đến những cơ hội này:

• Nếu bạn muốn quyên góp 250.000 đô la/năm trở lên, hãy liên hệ với Open Philanthropy, tổ chức thường xuyên giới thiệu các khoản tài trợ cho các nhà tài trợ ngoài Good Ventures (donoradvisory@openphilanthropy.org).
• Longview cung cấp tư vấn từ thiện trong lĩnh vực này và cũng có một quỹ.
• Nếu không, hãy liên hệ với một số tổ chức mà tôi đã đề cập và yêu cầu thêm thông tin, đồng thời hỏi ý kiến của những người xung quanh để đảm bảo bạn biết về những ý kiến phê bình.
• Nếu bạn chỉ muốn tìm một nơi để quyên góp nhanh chóng, hãy chọn một trong những đề xuất của nhân viên Open Philanthropy hoặc quỹ Longview.

Để xem hầu hết các bài đăng như thế này, hãy đăng ký.

1. ^{^}Tôi phát biểu với tư cách cá nhân và không đại diện cho SFF hoặc Jaan Tallinn.