‍Mục tiêu: cung cấp cái nhìn tổng quan và ơ bản về những gì đang diễn ra trong quản trị AI dài hạn (longtermist AI governance).

Đối tượng: những người có kiến thức hạn chế về quản trị AI dài hạn và muốn hiểu rõ hơn về lĩnh vực này.Tôi không mong bài viết này sẽ hữu ích cho những người đã quen thuộc với lĩnh vực này. Một số người đã khá quen thuộc với lĩnh vực vẫn thấy bài viết này hữu ích.

Bài viết này phác thảo các loại công việc khác nhau đang diễn ra trong quản trị AI dài hạn. Đối với mỗi loại công việc, tôi sẽ giải thích, đưa ra ví dụ, phác thảo một số câu chuyện về cách nó có thể tạo ra tác động tích cực và liệt kê những cá nhân mà tôi biết hiện đang làm việc trong lĩnh vực này.^[1]

Đầu tiên, đây là một số định nghĩa:

• Quản trị AI có nghĩa là đưa ra các chuẩn mực, chính sách, luật pháp, quy trình, chính trị và thể chế (không chỉ chính phủ) ở cấp địa phương và toàn cầu, có ảnh hưởng đến đầu ra xã hội từ sự phát triển và triển khai các hệ thống AI.^[2]
• Quản trị AI dài hạn là một phần cụ thể của công việc trên, được thúc đẩy bởi mối quan tâm về tầm ảnh hưởng lâu dài của AI. Điều này trùng lặp đáng kể với việc nhắm đến quản lý AI mang tính chuyển đổi (transformative AI hay viết tắt là TAI).

Điều đáng chú ý là lĩnh vực quản trị AI dài hạn còn hạn chế. Tôi đoán chỉ có khoảng 60 người làm việc trong lĩnh vực quản trị AI xuất phát từ động lực quan ngại đến tầm ảnh hưởng rất dài hạn của AI.

Tóm tắt ngắn

Ở cấp độ cao, tôi thấy hữu ích khi xem xét sự khác biệt giữa công việc nền tảng và công việc ứng dụng. Ở cấp độ nền tảng, có nghiên cứu chiến lược, nhằm xác định các mục tiêu cấp cao phù hợp với quản trị AI dài hạn; sau đó là nghiên cứu chiến thuật, nhằm xác định các kế hoạch giúp đạt được các mục tiêu cấp cao đó. Tiến tới khía cạnh ứng dụng, gồm có việc phát triển chính sách, lấy nghiên cứu ứng dụng này và diễn dịch thành chính sách cụ thể; việc vận động (advocacy) thực hiện các chính sách đó, và cuối cùng là thực thi thực tế các chính sách đó (bởi các công chức).

Ngoài ra còn có việc xây nền cho lĩnh vực (không phân rõ được là thuộc về phía nào trong phổ trên). Thay vì đóng góp trực tiếp vào vấn đề, công việc này nhằm xây dựng một vùng làm việc (field) cho những người đang làm công việc có giá trị trong lĩnh vực này.

Tất nhiên, phân loại này là đơn giản hóa và không phải tất cả công việc đều phù hợp hoàn toàn với một phân loại duy nhất.

Bạn có thể nghĩ rằng những hiểu biết sâu sắc chủ yếu chảy từ đầu cơ bản hơn đến đầu ứng dụng hơn của dải phạm vi trên, nhưng điều quan trọng là nghiên cứu phải nhạy cảm với các vấn đề chính sách, ví dụ như xem xét khả năng nghiên cứu của bạn có thể cung cấp thông tin cho một đề xuất chính sách khả thi về mặt chính trị hay không.

Bây giờ chúng ta sẽ xem xét chi tiết hơn từng loại công việc này.

Nghiên cứu

Nghiên cứu chiến lược

Mục đich tối hậu khi nghiên cứu chiến lược AI dài hạn (Longtermist AI strategy research) là nhằm xác định các mục tiêu cấp cao mà chúng ta có thể theo đuổi, mà nếu đạt được thì rõ ràng sẽ tăng cơ hội đạt được kết quả tốt từ AI tiên tiến (mà thi thoảng tôi sẽ nói như  Muehlhauser là xét từ góc độ dài hạn, mục tiêu này gọi là 'đạt được sự rõ ràng mang tính chiến lược').

Nghiên cứu này có thể khác nhau trên một phổ giữa có mục tiêu và khám phá như sau:

• Nghiên cứu chiến lược có mục tiêu trả lời các câu hỏi làm sáng tỏ một số câu hỏi cụ thể, quan trọng và đã biết như:
  
  • ví dụ: "Tôi muốn tìm hiểu khả năng điện toán của não bộ con người, vì điều này sẽ giúp tôi trả lời câu hỏi khi nào TAI sẽ được phát triển (điều này ảnh hưởng đến các mục tiêu cấp cao mà chúng ta nên theo đuổi)"
• Nghiên cứu chiến lược thăm dò (Exploratory strategy research) trả lời các câu hỏi mà không có ý nghĩa chính xác về những câu hỏi quan trọng nào khác giúp chúng ta có câu trả lời
  
  • ví dụ: "Tôi muốn tìm hiểu chính sách công nghiệp của Trung Quốc như thế nào, vì điều này có thể sẽ giúp tôi trả lời một loạt câu hỏi chiến lược quan trọng, mặc dù tôi không biết chính xác đó là những câu hỏi nào".

Ví dụ

• Nghiên cứu dự báo TAI, ví dụ: mỏ neo sinh học và định luật mở rộng quy mô cho các mô hình ngôn ngữ thần kinh.
  
  • Ví dụ về sự liên quan chiến lược: nếu TAI sắp xảy ra, thì việc phát triển chậm một lĩnh vực chuyên môn rộng có vẻ ít hứa hẹn; nếu TAI còn rất xa, thì quản trị AI dài hạn có lẽ nên được ưu tiên tương đối thấp hơn.
• Nghiên cứu làm rõ những nguồn rủi ro hiện sinh (x-risks) do AI, ví dụ như các bài viết của Christiano, Critch, Carlsmith, Ngo và Garfinkel.
  
  • Ví dụ về liên quan chiến lược: nếu hầu hết rủi ro hiện sinh (x risk) do AI đến từ các tác nhân AI tiên tiến mất căn chỉnh, thì việc quản trị nên tập trung vào tác động những nhân vật (actors) đầu tiên xây dựng chúng.
• Nghiên cứu để điều tra tốc độ tiến bộ của AI xung quanh TAI, ví dụ như điều tra và phân tích của AI Impacts.
  
  • Ví dụ về tương quan chiến lược: nếu tiến bộ AI xảy ra không liên tục, thì có thể sẽ chỉ có một số ít cá nhân có ảnh hưởng lớn, và phần lớn giá trị của quản trị sẽ đến từ việc tác động đến những nhân vật đó.

Rất dễ nhầm lẫn nghiên cứu chiến lược (và đặc biệt là nghiên cứu chiến lược thăm dò) với nghiên cứu phạm vi rộng. Như nhiều ví dụ trên cho thấy, nghiên cứu chiến lược có thể có phạm vi hẹp, tức là nó có thể trả lời một câu hỏi khá hẹp. Ví dụ về câu hỏi có phạm vi rộng và hẹp:

• Về định luật mở rộng quy mô:
  
  • Câu hỏi rộng: nói chung, hiệu suất của các mô hình học sâu thay đổi như thế nào khi bạn tăng kích thước của các mô hình đó?
  • Câu hỏi hẹp hơn: hiệu suất của các mô hình ngôn ngữ lớn cụ thể (ví dụ: GPT-3) thay đổi như thế nào khi bạn tăng kích thước của các mô hình đó? (Câu hỏi được đề cập trong bài báo này.)
• Về nguồn gốc của rủi ro x từ AI:
  
  • Câu hỏi rộng: rủi ro hiện sinh từ AI tiên tiến nói chung là bao nhiêu?
  • Câu hỏi hẹp hơn: rủi ro hiện sinh từ các tác nhân AI tìm kiếm ảnh hưởng (influence-seeking AI agents) cụ thể là bao nhiêu? (Câu hỏi được đề cập trong báo cáo này.)

Thật vậy, tôi nghĩ rằng tốt hơn là chọn các câu hỏi có phạm vi hẹp, đặc biệt là đối với các nhà nghiên cứu mới, vì chúng có xu hướng dễ giải quyết hơn.

Luke Muehlhauser có một số khuyến nghị cho những ai muốn thử loại công việc này: xem điểm 4 trong bài viết này. Và xem bài viết này để biết một số ví dụ về các câu hỏi nghiên cứu mở.^[3]

Câu chuyện về tầm tác động (impact)

• Tác động trực tiếp: có nhiều mục tiêu có thể đạt được trong quản trị AI, và chúng ta cần ưu tiên những mục tiêu quan trọng nhất. Công việc này thường được thúc đẩy bởi ấn tượng của các nhà nghiên cứu rằng có rất ít sự rõ ràng về các chủ đề ảnh hưởng đến mục tiêu mà chúng ta nên theo đuổi. Ví dụ, kết quả các cuộc khảo sát này cho thấy có bất đồng lớn về các kịch bản rủi ro hiện sinh do AI và tổng mức rủi ro hiện sinh do AI mang đến.
• Tác động gián tiếp:
  
  • Tạo nền cho lĩnh vực (Field-building): hiểu rõ chúng ta đang nỗ lực để đạt được điều gì và tại sao điều đó lại quan trọng sẽ giúp thu hút nhiều người hơn đếni lĩnh vực này.
  • Truyền đạt mức độ cấp thiết cần đổi chính sách: nếu bạn muốn thuyết phục mọi người làm những việc tốn kém hoặc mang tính quyết định trong tương lai, bạn nên nói rõ ràng về những gì chúng ta đang nỗ lực để đạt được và tại sao điều đó lại quan trọng.

Ai đang thực hiện?

Một số người tại các tổ chức sau: FHI, GovAI, CSER, DeepMind, OpenAI, GCRI, CLR, Rethink Priorities, OpenPhil, CSET,^[4] cùng một số học giả độc lập.

Nghiên cứu chiến thuật

Nghiên cứu chiến thuật AI dài hạn cuối cùng nhằm xác định kế hoạch giúp đạt được các mục tiêu cấp cao (mà nghiên cứu chiến lược đã xác định là ưu tiên). Nó có xu hướng có phạm vi hẹp hơn về bản chất.

Điều đáng chú ý là có thể có những lý do để thực hiện nghiên cứu chiến thuật ngay cả khi bạn chưa xác định rõ mục tiêu nào là ưu tiên: để học hỏi, tích lũy vốn nghề nghiệp và giúp xây dựng lĩnh vực học thuật.

Ví dụ

• Cơ chế phân chia lợi nhuận từ trí tuệ nhân tạo
  
  • Kế hoạch: phát triển một công cụ để phân phối lợi ích của AI cho lợi ích chung
  • Mục tiêu cấp cao mà kế hoạch này theo đuổi: giảm động cơ thúc đẩy các cá nhân cạnh tranh với nhau để trở thành người đầu tiên phát triển AI tiên tiến; giảm bất bình đẳng kinh tế.
• Cơ chế hỗ trợ các tuyên bố có thể kiểm chứng
  
  • Kế hoạch: phát triển các phương pháp thực tiễn để các nhà phát triển AI có thể đưa ra các tuyên bố về phát triển AI của mình một cách dễ kiểm chứng hơn (nghĩa là các tuyên bố mà các nhà phát triển có thể chịu trách nhiệm)
  • Mục tiêu cấp cao mà kế hoạch này theo đuổi: phát triển các cơ chế để chứng minh hành vi có trách nhiệm của các hệ thống AI; cho phép giám sát hiệu quả hơn; giảm áp lực cắt giảm chi phí để giành lợi thế cạnh tranh.
• AI & Chống độc quyền
  
  • Kế hoạch: đề xuất các cách để giảm căng thẳng giữa luật cạnh tranh và nhu cầu phát triển AI hợp tác (cooperative AI)
  • Mục tiêu cấp cao mà kế hoạch này theo đuổi: tăng cường hợp tác giữa các công ty phát triển AI tiên tiến.

Câu chuyện về tầm ảnh hưởng

• Tác động trực tiếp: tạo ra các giải pháp được sử dụng để giúp đưa ra quyết định tốt hơn (trong chính sách và nghiên cứu trong tương lai).
  
  • Đây là những gì Allan Dafoe gọi là 'Mô hình nghiên cứu sản phẩm'.
• Tác động gián tiếp: ngay cả khi không phải tất cả các giải pháp đều được sử dụng để giúp đưa ra quyết định tốt hơn, chúng sẽ giúp phát triển lĩnh vực của những người quan tâm đến các vấn đề quản trị AI dài hạn, đồng thời cải thiện hiểu biết, chuyên môn, kết nối và uy tín của các nhà nghiên cứu.
  
  • Đây là những gì Allan Dafoe gọi là 'Mô hình nghiên cứu xây dựng lĩnh vực'.

Ai đang thực hiện?

Một số người tại các tổ chức sau: FHI, GovAI, CSER, DeepMind, OpenAI, GCRI, CSET, Rethink Priorities, LPP, cùng một số học giả độc lập.

Phát triển chính sách, vận động và thực thi

Nghiên cứu chiến lược xác định các mục tiêu cấp cao. Nghiên cứu chiến thuật lấy các mục tiêu đó và lập kế hoạch để đạt được chúng. Công tác phát triển chính sách lấy các kế hoạch đó và chuyển đổi chúng thành các khuyến nghị chính sách sẵn sàng trình lên các nhà hoạch định chính sách. Điều này đòi hỏi phải xác định (ví dụ) yêu cầu cụ thể nào cần đưa ra, ngôn ngữ sử dụng (cả trong văn bản chính sách chính thức và trong yêu cầu), cùng các yếu tố cụ thể khác của bối cảnh sẽ ảnh hưởng đến khả năng triển khai thành công.

Vận động chính sách là việc vận động để các chính sách được thực hiện, ví dụ như xác định ai là người phù hợp nhất để đưa ra yêu cầu chính sách, gửi đến ai và vào thời điểm nào.

Thực thi chính sách là công việc thực hiện các chính sách trong thực tế, do cán bộ công chức hoặc các doanh nghiệp thực hiện.

Cần phân biệt chính sách của chính phủ (tức là chính sách dự định được ban hành bởi chính phủ hoặc các tổ chức liên chính phủ) với chính sách của doanh nghiệp (tức là chính sách dự định được áp dụng bởi các doanh nghiệp). Một số người làm việc trong lĩnh vực quản trị AI dài hạn tập trung vào việc cải thiện chính sách của doanh nghiệp (đặc biệt là chính sách của các nhà phát triển AI), trong khi những người khác trong lĩnh vực này tập trung vào việc cải thiện chính sách của các chính phủ có liên quan.

Động lực chung cho tất cả các công việc chính sách là chi tiết thực thi thường được coi là yếu tố quan trọng để hoạch định chính sách thành công. Ví dụ, nếu một quy định của chính phủ có lỗ hổng nhỏ, điều đó có thể khiến quy định đó trở nên vô dụng.

So với nghiên cứu, loại công việc này có xu hướng liên quan đến tư duy cá nhân tương đối ít hơn, và tương đối nhiều hơn về đối thoại/thu thập thông tin (ví dụ: tổ chức các cuộc họp để tìm hiểu ai có quyền quyết định chính sách, họ quan tâm đến điều gì, và các bên khác muốn gì trong chính sách) cũng như phối hợp (ví dụ: tìm ra cách để một nhóm cá nhân ủng hộ một chính sách, và sau đó thực hiện điều đó).

Như đã đề cập trước đó, hiểu biết về chính sách đôi khi diễn ra theo chiều “ngược lại”. Ví dụ, việc xây dựng chính sách có thể được thực hiện lặp đi lặp lại dựa trên cách vận động thay đổi kiến thức của bạn (và bối cảnh chính sách).

Ví dụ

• Chính sách của chính phủ:
  
  • Cam kết không kết hợp công nghệ AI vào hệ thống chỉ huy, kiểm soát và liên lạc hạt nhân (NC3), ví dụ như CLTR đã đề xuất trong báo cáo Future Proof.
  • Chính phủ giám sát sự phát triển của AI, ví dụ như được phát triển trong báo cáo chính sách về giám sát AI này.
  • Làm cho các quy định hoặc chiến lược/nguyên tắc AI mới ra đời nhạy cảm với rủi ro từ các hệ thống AI tiên tiến (cũng như các hệ thống hiện tại), ví dụ như phản hồi của các tổ chức EA về Đạo luật AI của EU.
• Chính sách của doanh nghiệp:
  
  • Phát triển các tiêu chuẩn để phổ biến nghiên cứu AI một cách có trách nhiệm, do nguy cơ lợi dụng sai mục đích, ví dụ như các khuyến nghị của PAI.

Các ý tưởng này đa dạng và trải dải trên phổ (nghiên cứu),  từ những ý tưởng có mục tiêu cụ thể hơn (ví dụ như không tích hợp AI vào NC3) đến những ý tưởng chung chung hơn (theo nghĩa tạo ra năng lực chung để đối phó với một loạt các vấn đề có thể phát sinh, ví dụ như hầu hết các ý tưởng khác ở trên). Tôi nghĩ rằng việc phát triển, vận động và thực thi chính sách của chúng ta hiện nay nên tập trung chủ yếu vào các ý tưởng chung chung hơn, do chúng ta chưa chắc chắn về cách AI sẽ phát triển (đồng thời thúc đẩy các ý tưởng cụ thể rõ ràng là tốt, khi chúng xuất hiện).

Câu chuyện về tầm ảnh hưởng

• Tác động trực tiếp: có các chính sách tốt sẽ tăng cơ hội thành công trong quá trình chuyển đổi sang một thế giới có AI tiên tiến.
• Tác động gián tiếp: ngay cả khi bạn không thể chắc chắn rằng một ý tưởng chính sách nào đó là tốt, việc phát triển/vận động/thực thi ý tưởng đó sẽ giúp xây dựng hiểu biết, chuyên môn, mối quan hệ và uy tín của những người quản trị AI có tầm nhìn dài hạn. Chúng ta không muốn đến lúc AI “đến giờ G”^[5] mới bắt đầu học cách phát triển chính sách và ra quyết định.
  
  • Điều đó nói lên rằng, chúng ta nên rất cẩn thận khi thực hiện các chính sách có thể gây hại, ví dụ như hạn chế sự phát triển chính sách trong tương lai.

Ai đang làm việc này?

• Phát triển:
  
  • Chính sách của chính phủ: CLTR, FLI, GovAI, CSET, CSER, FHI, TFS
  • Chính sách của doanh nghiệp: OpenAI, DeepMind, GovAI, CSER, FHI, PAI
• Vận động
  
  • Đối với chính sách của chính phủ: CLTR, CSET, FLI, TFS
  • Đối với chính sách của doanh nghiệp: PAI
• Thực hiện
  
  • Chính sách của chính phủ: các nhân viên trong các cơ quan công vụ
  • Chính sách của doanh nghiệp: OpenAI, DeepMind

Xây nền lĩnh vực

Mục đích rõ ràng của công việc này là phát triển lĩnh vực hoặc cộng đồng những người đang làm công việc có giá trị trong quản trị AI dài hạn.^[6] Có thể coi công việc này bao gồm cả (1) thu hút người mới và (2) làm cho lĩnh vực này hiệu quả hơn.

Ví dụ

1. Thu hút người mới bằng cách tạo ra:
   
   • chương trình học bổng chính sách, chẳng hạn như OpenPhil Technology Policy Fellowship;
   • chương trình hoặc khóa học trực tuyến để giúp những người mới bắt đầu đồng bộ hóa với những gì đang diễn ra trong quản trị AI;
   • tài liệu giới thiệu chất lượng cao, hấp dẫn rộng rãi, tiếp cận được nhiều sinh viên đại học;
   • chương trình học bổng nghiên cứu có thể mở rộng hơn để kết nối, hỗ trợ và cấp chứng chỉ cho những người mới bắt đầu quan tâm.
2. Làm cho lĩnh vực này hiệu quả hơn bằng cách tạo ra:
   
   • các chương trình nghiên cứu;
   • các cách để các nhà nghiên cứu cấp cao thuê được trợ lý nghiên cứu thuận lợi hơn.^[7]

Câu chuyện về tầm tác động

• Mô hình tăng trưởng: xây dựng một lĩnh vực quản trị AI dài hạn với nhiều người có cùng mục tiêu, có năng lực và chuyên môn phù hợp để thực hiện các công việc nghiên cứu và chính sách quan trọng (có lẽ đặc biệt là công việc này ít gặp khó khăn vì sự thiếu rõ ràng về chiến lược).
• Mô hình Metropolis:^[8] xây dựng một lĩnh vực quản trị AI dài hạn bằng các kết nối dày đặc với các cộng đồng rộng lớn hơn (ví dụ: hoạch định chính sách, khoa học xã hội, học máy), để lĩnh vực này có thể tận dụng kiến thức chuyên môn đa dạng từ các cộng đồng này.

Ai đang làm việc này?

GovAI, OpenPhil, SERI, CERI, CHERI và EA Cambridge. Từ góc độ rộng hơn, tất cả các phong trào EA vì mục đích chung cũng đang xây dựng việc này. Đây là loại công việc ít được khám phá nhất thảo luận nhất trong bài viết này.

Các quan điểm khác về bối cảnh quản trị AI dài hạn

Tôi chỉ trình bày một quan điểm khả thi về bối cảnh quản trị AI dài hạn - rõ ràng còn có những quan điểm khác, có thể hữu ích hơn cho các mục đích khác. Ví dụ, bạn có thể phân chia bối cảnh dựa trên các loại can thiệp khác nhau, chẳng hạn như:

• Chuyển hướng các cuộc thảo luận hiện có trong lĩnh vực chính sách để khiến họ nhảy cảm ơn với rủi ro hiện sinh do AI (ví dụ: nâng cao nhận thức về khó khăn trong việc đảm bảo các hệ thống AI tiên tiến)
• Đề xuất các công cụ chính sách mới (ví dụ: tiêu chuẩn AI quốc tế)
• Thúc đẩy chính phủ tài trợ cho nghiên cứu an toàn AI
• Thay đổi hành vi của doanh nghiệp (ví dụ: cơ chế phân chia lợi nhuận từ trí tuệ nhân tạo)
• ...

Hoặc, bạn có thể phân chia theo trung tâm địa lý (mặc dù không phải tất cả các tổ chức đều thuộc một trung tâm địa lý):

• Vùng Vịnh (Bay Area): OpenPhil, OpenAI, PAI, các tổ chức căn chỉnh AI khác nhau. Trung bình tập trung hơn vào mất căn chỉnh như nguồn gốc rủi ro hiện sinh từ AI; gần gũi hơn với văn hoá Thung lũng Silicon và văn hóa lý tính.
• Vùng DC: Chính phủ Hoa Kỳ, CSET. Tập trung vào phát triển/vận động/thực thi chính sách của Hoa Kỳ; văn hóa gần gũi hơn với văn hóa DC.
• Anh: FHI/GovAI, DeepMind, Chính phủ Anh, CSER, CLTR, (các tổ chức khác?). Trung bình, quan tâm nhiều hơn đến nhiều nguồn rủi ro từ AI.
• EU. Năm 2020, Ủy ban Châu Âu đã soạn thảo quy định về AI đầu tiên trên thế giới, có khả năng sẽ được thông qua trong vài năm tới và có thể dẫn đến hiệu ứng Brussels.
• Trung Quốc.
• ...

Hoặc, bạn có thể phân chia bức tranh dựa trên các "lý thuyết về chiến thắng"(theories of victory), tức là những câu chuyện hoàn chỉnh về cách nhân loại thành công trong việc chuyển đổi sang một thế giới có AI tiên tiến. Có rất nhiều điều có thể nói thêm về tất cả những điều này; mục tiêu của bài viết này chỉ là cung cấp một cái nhìn tổng quan ngắn gọn về các loại công việc đang được thực hiện hiện nay.

Lời cảm ơn: đây là tổng hợp của riêng tôi về bối cảnh hiện tại, nhưng được lấy cảm hứng và/hoặc trích dẫn trực tiếp từ các bài đăng trên diễn đàn EA của Allan Dafoe, Luke Muehlhauser và Convergence Analysis. Cảm ơn Jess Whittlestone vì cuộc trò chuyện hữu ích, Matthijs Maas, Yun Gu, Konstantin Pilz, Caroline Baumöhl và đặc biệt là một người phản biện từ SERI vì những phản hồi về bản thảo.

Tác phẩm này được cấp phép theo Giấy phép Creative Commons Attribution 4.0 International.