ยักษ์ใหญ่ AI ที่เคยเร่งเครื่องเต็มที่ ในที่สุดก็เริ่มกลัว AI แล้ว

ชื่อเรื่องต้นฉบับ: 《ยักษ์ใหญ่ AI ที่เคยเร่งเครื่องเต็มที่ ในที่สุดก็เริ่มกลัว AI แล้ว》
ผู้เขียนต้นฉบับ: 動察Beating

AI อาจฆ่าพวกเราทุกคนภายในสิบปี

วันที่ 8 กันยายน ชายหนุ่มวัย 27 ปีใช้ประโยคนี้ประกาศลาออกจาก Anthropic บริษัทที่ตั้งแต่วันแรกได้เขียนเรื่อง "ความปลอดภัยของ AI" ไว้ในแก่นเรื่องหลักของตัวเอง

เขาชื่อ Jacob Coxon เคยทำงานที่ OpenAI และ Anthropic มาก่อน ถ้าอยู่ต่ออีกสองเดือน เขาก็จะได้รับผลตอบแทนเป็นหุ้นก้อนใหญ่ แต่เขาก็ยังเลือกที่จะไป

Jacob กล่าวในแถลงการณ์ลาออกว่า ห้องปฏิบัติการ AI ระดับแนวหน้ากำลังแข่งขันกันอย่าง "ไร้ความรับผิดชอบ" ในมุมมองของเขา บริษัทเหล่านี้กำลังแย่งกันสร้างโมเดลที่เก่งขึ้นเรื่อย ๆ เดิมพันไม่ใช่แค่แพ้ชนะของบริษัทใดบริษัทหนึ่ง แต่เป็นชีวิตของทุกคน

โพสต์นี้แพร่กระจายอย่างรวดเร็ว ณ เวลาที่เขียน มียอดเข้าชมเกิน 170 ล้านครั้งแล้ว

หนึ่งวันหลังจาก Jacob โพสต์แถลงการณ์ลาออก อดีตพนักงาน Anthropic อีกคนก็เปิดเผยเหตุผลที่ลาออกก่อนหน้านี้เช่นกัน นั่นคือกังวลว่า AI จะควบคุมไม่ได้ในที่สุด

"We may not survive this."

เราอาจไม่รอดจากเรื่องนี้

เขาเตือนว่า บริษัทต่าง ๆ กำลังแย่งกันสร้างระบบปัญญาประดิษฐ์ที่ "ฉลาดกว่ามนุษย์คนใดมาก" แต่ไม่มีใครรับประกันได้ว่า การแข่งขันนี้จะยังถูกมนุษย์ควบคุมได้เมื่อถึงจุดหนึ่ง

จากนั้นไม่นาน ผู้บริหารระดับสูงด้านความปลอดภัยของ Anthropic ให้สัมภาษณ์สื่อว่า เขาคิดว่าภายใน 10 ปีข้างหน้า ความน่าจะเป็นที่ AI จะฆ่ามนุษย์ทั้งหมดมีมากกว่า 10%

โอกาสเสียชีวิตในเกมรัสเซียนรูเล็ตอยู่ที่ประมาณ 16.7%

ต้องชะลอความเร็ว

สี่วันต่อมา วันที่ 12 กันยายน Dario Amodei ซีอีโอของ Anthropic เผยแพร่บทความยาว ชื่อเรื่องบอกจุดยืนชัดเจนว่า 《We Must Pace the Frontier》

เขาระบุสามประเด็นที่กังวลที่สุด มนุษย์สูญเสียการควบคุมระบบ AI; AI ถูกใช้ในการโจมตีทางไซเบอร์ขนาดใหญ่และการก่อการร้ายทางชีวภาพ; และความก้าวหน้าทางเทคโนโลยีเร็วเกินไป ส่งผลกระทบรุนแรงต่อการจ้างงานและเศรษฐกิจ

ครั้งนี้ Dario ไม่ได้หยุดแค่ "ความกังวล" แต่เขาเสนอแผนชะลอความเร็วด้วย

ประการแรก บริษัท AI ระดับแนวหน้าควรเปิดสิทธิ์เข้าถึงแบบประจำเกือบเท่าระดับ "พนักงาน" ให้กับหน่วยประเมินอิสระบุคคลที่สาม ผู้ประเมินสามารถตรวจสอบได้อย่างต่อเนื่องว่าห้องปฏิบัติการปฏิบัติตามมาตรฐานความปลอดภัยหรือไม่ กระบวนการเทรนโมเดลเป็นไปตามข้อตกลงหรือไม่ และสอบสวนและรายงานอย่างอิสระหลังเกิดอุบัติเหตุ

ถัดมา ห้องปฏิบัติการแนวหน้าหลายแห่งต้องร่วมกันกำหนดมาตรฐานความปลอดภัยชุดหนึ่งโดยมีภาครัฐเข้าร่วม ใครแตะเส้นแดง ใครต้องชะลอ หรือแม้แต่หยุดการพัฒนาต่อ

สุดท้าย กฎต้องขยายออกไปนอกสหรัฐฯ Dario ต้องการให้สหรัฐฯ และประเทศประชาธิปไตยอื่น ๆ สร้างกรอบที่เป็นเอกภาพก่อน แล้วค่อยประสานกับประเทศอำนาจนิยม สุดท้ายให้ชาติมหาอำนาจ AI หลักทั้งหมดอยู่ภายใต้ข้อจำกัดชุดเดียวกัน

เขาเขียนในบทความว่า:

"The measures I propose to advance the frontier at a safe pace will not be easy. But I believe we owe it to humanity to try."

"มาตรการที่ผมเสนอเหล่านี้ เพื่อให้ AI ระดับแนวหน้าพัฒนาต่อไปด้วยความเร็วที่ปลอดภัย การทำแบบนี้คงยากพอสมควร แต่ผมคิดว่าเราเป็นหนี้มนุษยชาติที่ต้องลอง"

เหตุผลที่ Dario พูดหนักแน่นขึ้นในเวลานี้ เกี่ยวข้องกับหลายเหตุการณ์ที่เพิ่งเกิดขึ้น

ก่อนหน้านี้ เอเจนต์ของ OpenAI เคยหลุดออกจากสภาพแวดล้อมทดสอบและบุกรุก Hugging Face; Anthropic เองก็พบว่า นักวิทยาศาสตร์หลายคนกำลังพยายามใช้ Claude ทำงานที่อาจเกี่ยวข้องกับการใช้ในทางชีวภาพในทางที่ผิด Dario ถึงกับประเมินว่า ด้วยความเร็วในการพัฒนาในปัจจุบัน ตัวแทนปัญญาประดิษฐ์อาจเข้าควบคุมอินเทอร์เน็ตภายในหกเดือน

ดังนั้นหลังจากบทความนี้เผยแพร่ การตอบสนองก็มาอย่างรวดเร็ว Sam Altman, Elon Musk และ Demis Hassabis ต่างแสดงการสนับสนุนต่อสาธารณะให้ชะลอความเร็วในการพัฒนา AI ระดับแนวหน้า

Sam Altman จากนั้นก็โพสต์ข้อความอีกหนึ่งโพสต์ เล่าถึงสองสิ่งที่เขากังวลที่สุด

อย่างแรกคือมนุษย์อาจสูญเสียการควบคุม AI ในที่สุด เขาบอกว่าสิ่งนี้ยอมรับไม่ได้ และเขา "อยู่ฝั่งมนุษย์อย่างไม่มีเงื่อนไข"

ความเสี่ยงที่สองมาจากมนุษย์ หาก AI ที่ทรงพลังอย่างยิ่งถูกควบคุมโดยคนคนเดียว บริษัทเดียว หรือแม้แต่ประเทศเดียว และถูกใช้เพื่อยัดเยียดโลกทัศน์บางอย่างให้กับทุกคน ผลลัพธ์อาจ "ดิสโทเปียอย่างยิ่ง"

ดังนั้นในมุมมองของ Sam ห้องปฏิบัติการต่าง ๆ ไม่สามารถตัดสินใจเองได้อีกต่อไปว่าอะไรคือความปลอดภัย อย่างน้อยบริษัทที่อยู่ใกล้แนวหน้าที่สุดต้องร่วมกันหารือและกำหนดมาตรฐานที่ทุกคนปฏิบัติตามร่วมกัน

วันที่ 14 กันยายน The Information เปิดเผยว่า จริง ๆ แล้วก่อนการแสดงจุดยืนต่อสาธารณะรอบนี้ Anthropic, OpenAI และ Google เริ่มหารือกันเป็นการส่วนตัวตั้งแต่เดือนกรกฎาคมปีนี้แล้วว่า จะร่วมกันจัดตั้งองค์กรมาตรฐานอุตสาหกรรม AI หรือไม่ คุยกันมาสองเดือนแล้ว จนถึงตอนนี้ก็ยังไม่ได้ข้อสรุป

ความเห็นต่างไม่ได้อยู่ที่ว่าจะควบคุมหรือไม่ แต่อยู่ที่ว่าใครเป็นคนควบคุม และขอบเขตการควบคุมมีมากน้อยแค่ไหน

Dario Amodei ผลักดันหนักที่สุด เขาต้องการให้ภาครัฐมีส่วนร่วมอย่างลึกซึ้ง ผู้กำกับดูแลไม่เพียงแต่ทดสอบและเตือน แต่เมื่อโมเดลถูกตัดสินว่าไม่ปลอดภัย ควรมีอำนาจยับยั้งการเผยแพร่

ข้อเสนอของ Demis Hassabis คล้ายกับ "FINRA ฉบับ AI" มากกว่า FINRA เป็นองค์กรกำกับดูแลตนเองของอุตสาหกรรมการเงินสหรัฐฯ ได้รับทุนจากอุตสาหกรรม ขณะเดียวกันก็ได้รับอำนาจและการกำกับดูแลจาก SEC

เมื่อนำมาใช้กับอุตสาหกรรม AI ก็คือ โมเดลระดับแนวหน้าต้องถูกส่งให้องค์กรอิสระทดสอบก่อนเผยแพร่ ตอนแรกอาจเข้าร่วมโดยสมัครใจ พอระบบ成熟แล้วก็ค่อย ๆ กลายเป็นเงื่อนไขในการเข้าสู่ตลาดสหรัฐฯ

ท่าทีของ Sam Altman เน้นปฏิบัติมากกว่า หากภาครัฐยังตั้งองค์กรนี้ไม่ได้ในเร็ว ๆ นี้ ห้องปฏิบัติการชั้นนำไม่กี่แห่งก็เริ่มดำเนินการเองก่อนได้

ปัญหาก็อยู่ตรงนี้แหละ มาตรฐานอุตสาหกรรมไม่เคยกำหนดแค่ว่าอะไรปลอดภัย แต่มันยังกำหนดด้วยว่าใครมีสิทธิ์นั่งอยู่ที่โต๊ะต่อไป บริษัทที่ได้ร่วมกำหนดกฎก่อน สามารถบรรจุทีมความปลอดภัย กระบวนการทดสอบ และกรอบการกำกับดูแลที่ตัวเองมีอยู่แล้วไว้ใน "แนวปฏิบัติที่ดีที่สุด" ผู้มาใหม่ที่จะเข้าสู่ตลาดนี้ ต้องแบกรับต้นทุนการปฏิบัติตามกฎที่กำหนดโดยบริษัทหัวแถวก่อน

ดังนั้นความปลอดภัยก็จริง แต่เงื่อนไขก็จริงเช่นกัน

เมื่อเดือนมกราคมปีนี้ Semafor เคยรายงานว่า Anthropic ปฏิเสธที่จะส่งโมเดลล่าสุดของตัวเองให้สถาบันวิจัยความปลอดภัย AI ชั้นนำแห่งหนึ่งในอังกฤษทดสอบ เรื่องนี้เผยให้เห็นปัญหาที่ยุ่งยากกว่า ทุกคนเห็นด้วยว่าโมเดลควรถูกตรวจสอบ แต่ใครเป็นคนตรวจ ตรวจตามมาตรฐานของใคร ห้องปฏิบัติการยังไม่พร้อมจะมอบอำนาจตัดสินใจให้ใครโดยง่าย

ตอนนี้สามบริษัทกำลังหารือเรื่องจัดตั้งองค์กรมาตรฐานใหม่ สิ่งที่ต่อสู้เพื่อก็คืออำนาจส่วนนี้

นาฬิกาที่เดินถอยหลัง

ตอนที่ซิลิคอนวัลเลย์เริ่มพูดถึงการชะลอความเร็ว วอชิงตันและวอลล์สตรีทกลับต้องการให้ AI อย่าหยุด

วันที่ 13 กันยายน ทรัมป์ตอบโต้ข้อถกเถียงเรื่องความปลอดภัย AI รอบนี้ต่อสาธารณะ

เขาพูดสองประโยค ประโยคหนึ่งคือ "whoever wins AI, wins" ใครชนะ AI ใครก็ชนะ ตอนนี้สหรัฐฯ นำจีนอยู่ ข้อได้เปรียบนี้ต้องรักษาไว้ อีกประโยคคือ เขาเรียกคำเตือนเรื่องความเสี่ยง AI ที่ออกมาเมื่อเร็ว ๆ นี้ว่า "very negative forces" โดยมองว่ามีบางคนพยายามปั่นกระแสภัยพิบัติที่อาจไม่มีวันเกิดขึ้น

เหตุผลที่ทรัมป์ให้มาแทบไม่เกี่ยวกับความปลอดภัยทางเทคนิค เขามอง AI แบบการแข่งขันระหว่างประเทศ ตราบใดที่จีนยังเดินหน้าต่อ สหรัฐฯ ก็ไม่มีทางเลือกให้เหยียบเบรกเอง

แต่ที่น่าสังเกตคือ ตอนนี้ก็เป็นเดือนกันยายน 2026 เหลือเวลาไม่ถึงสองเดือนก่อนการเลือกตั้งกลางเทอมของสหรัฐฯ

เมื่อเดือนมีนาคมปีนี้ บทความหนึ่งใน The Guardian เสนอว่า AI กำลังกลายเป็นประเด็นสำคัญในการเลือกตั้งกลางเทอมครั้งนี้ หนึ่งในผู้เขียนคือ Bruce Schneier นักวิทยาการรหัสลับ ซึ่งตลอดสามสิบปีที่ผ่านมาเขายืนอยู่แนวหน้าเกือบตลอดเวลาในข้อถกเถียงเรื่องเทคโนโลยีและความปลอดภัย

แต่ทรัมป์ก็ไม่มีทางเลือกที่สบายใจ

ตามรายงานของ Times เมื่อเดือนพฤษภาคมปีนี้ ความเป็นปรปักษ์ต่อ AI ของผู้มีสิทธิเลือกตั้ง MAGA ทวีความชัดเจนขึ้นเรื่อย ๆ พวกเขากังวลว่า AI จะแย่งงาน กดค่าแรง และไม่พอใจที่ดาต้าเซ็นเตอร์ใช้น้ำและไฟในท้องถิ่น การเดิมพัน AI ต่อไปหมายความว่าทรัมป์ต้องเผชิญกับความไม่พอใจที่สะสมอยู่ในฐานเสียงของตัวเองไม่ช้าก็เร็ว

อย่างน้อยในตอนนี้ เขายังเลือกอีกข้างหนึ่ง เมื่อเทียบกับความขัดแย้งเรื่องงานและทรัพยากรที่อาจปะทุในอนาคต ความเสี่ยงเรื่องการแข่งขันกับจีนและการปรับตัวลงของตลาดหุ้นสหรัฐฯ อยู่ใกล้การเลือกตั้งกลางเทอมมากกว่า

วอลล์สตรีทก็เจอปัญหาไม่น้อย

หลายปีที่ผ่านมา ตลาดกล้าให้มูลค่าบริษัท AI เหล่านี้สูงลิ่ว สิ่งที่ตลาดซื้อคือแนวโน้มการเติบโตที่ต่อเนื่อง โมเดลเก่งขึ้นเรื่อย ๆ ผู้ใช้และรายได้โตขึ้นเรื่อย ๆ ดาต้าเซ็นเตอร์ก็สร้างต่อ GPU ก็ซื้อต่อ รายจ่ายลงทุนก็กองสูงขึ้นเรื่อย ๆ

ตอนนี้ ซีอีโอของบริษัทชั้นนำที่อยู่หน้าสุดของเส้นโค้งนี้เริ่มพูดเองว่า AI ระดับแนวหน้าอาจต้องชะลอความเร็ว

ปฏิกิริยาของตลาดมาเร็วกว่าข้อถกเถียง หลังจากผู้บริหารของ Anthropic, OpenAI และ SpaceX ออกมาเรียกร้องให้ชะลอการพัฒนา AI ต่อสาธารณะ ราคาหุ้นของบริษัทจดทะเบียนที่เกี่ยวข้องกับ AI ร่วงลงถึง 13% ในช่วงหนึ่ง

การชะลอความเร็วยังไม่เกิดขึ้นจริง แต่วอลล์สตรีทเริ่มตีราคาใหม่แล้ว

ถ้าความสามารถของโมเดลไม่สามารถพุ่งขึ้นด้วยความเร็วเดิมได้ ตัวเลขอื่น ๆ ที่เกี่ยวข้องทั้งหมดต้องคำนวณใหม่หมด ดาต้าเซ็นเตอร์ต้องสร้างเท่าไหร่ GPU ต้องซื้ออีกเท่าไหร่ ผู้ให้บริการคลาวด์ควรทุ่มรายจ่ายลงทุนปีละเท่าไหร่ ห้องปฏิบัติการ AI ยังระดมทุนได้อีกเท่าไหร่ และ IPO ควรมีมูลค่าเท่าไหร่

ดังนั้นสิ่งที่วอลล์สตรีทกลัวจริง ๆ ไม่เคยเป็นเพียงแค่มีโมเดลออกน้อยลง แต่คืออัตราการเติบโตที่หนุนตลาดกระทิง AI มาหลายปี กำลังกลายเป็นปัญหาที่ต้องถูกกำกับดูแล

ที่ละเอียดอ่อนกว่านั้นคือ ประชาชนอเมริกันมีระยะห่างจากทั้งวอชิงตันและวอลล์สตรีทมากกว่า

ผลสำรวจของ Annenberg Public Policy Center แห่งมหาวิทยาลัยเพนซิลเวเนียแสดงว่า คนอเมริกันส่วนใหญ่มองผลกระทบของ AI ในแง่ลบ และส่วนใหญ่ต้องการให้รัฐบาลกำกับดูแลเข้มขึ้น ซิลิคอนวัลเลย์กลัว失控 วอชิงตันกลัวแพ้จีน วอลล์สตรีทกลัวมูลค่าลดลง

ท่ามกลางกระแสนี้ บริษัท AI สองแห่งที่ถูกจับตามองที่สุดเลือกเดินคนละเส้นทาง

OpenAI ตัดสินใจเลื่อน IPO ออกไป Sam Altman ก็ส่งสัญญาณแล้วว่า หากปัญหาเรื่องความปลอดภัยต้องใช้เวลามากขึ้น บริษัทก็เลื่อนการเข้าตลาดออกไปได้

แต่ Anthropic ยังเดินหน้าเต็มกำลัง บริษัทเลือก Nasdaq แล้ว ตั้งเป้ามูลค่าสูงถึง 2 ล้านล้านดอลลาร์ Nvidia กำลังพิจารณาซื้อหุ้น 10,000 ล้านดอลลาร์เพื่อเป็นผู้ลงทุนหลัก NDTV Profit รายงานว่า Anthropic จะเริ่มโรดโชว์ IPO เร็วที่สุดกลางเดือนตุลาคม

Dario Amodei กำลังเรียกร้องให้ทั้งอุตสาหกรรมชะลอฝีเท้า แต่บริษัทของตัวเองกลับเร่งเข้าสู่ตลาดสาธารณะ

แต่ตลาดทุนอาจไม่มองว่านี่คือความขัดแย้ง

ถ้า AI ระดับแนวหน้าอันตรายถึงขั้นต้องให้รัฐบาลสหรัฐฯ เข้ามาแทรกแซง ต้องให้ห้องปฏิบัติการต่าง ๆ กำหนดมาตรฐานร่วมกัน หรือแม้แต่ต้องให้ชาติมหาอำนาจหลายประเทศมานั่งเจรจากัน บริษัทที่ได้มีส่วนร่วมกำหนดกฎเหล่านี้ก็จะยิ่งสำคัญขึ้นเท่านั้น

ยิ่งกำกับดูแลเข้ม ต้นทุนการทำโมเดลระดับแนวหน้ายิ่งสูง; ยิ่งการทดสอบความปลอดภัยซับซ้อน ผู้มาใหม่ยิ่งตามยาก; หากในอนาคตมีระบบธรรมาภิบาล AI ระดับโลกจริง Anthropic ก็มีแนวโน้มสูงที่จะได้นั่งอยู่ที่โต๊ะกำหนดกฎ

ดังนั้น "การชะลอความเร็ว" อาจไม่ได้หมายถึงแค่รายได้ลดลง

มันอาจหมายถึงว่า อุตสาหกรรมนี้สำคัญมากพอที่จะไม่ให้ใครก็ได้เข้ามาแข่งขัน และสำหรับบริษัทที่ยืนอยู่หน้าสุดแล้ว เงื่อนไขที่สูงขึ้น本身就是ส่วนหนึ่งของมูลค่า

โดมิโนตัวแรก

ลองย้อนกลับไปดูว่าการถกเถียงอย่างดุเดือดเรื่อง AI Safety รอบนี้จุดชนวนขึ้นมาได้อย่างไร และยอดเข้าชม 170 ล้านครั้งของโพสต์ของ Jacob มาจากไหน

หลังจากลาออก เขาให้สัมภาษณ์รายการของ CNN กับ Anderson Cooper เล่าถึงกระบวนการโพสต์ข้อความนั้นด้วยตัวเอง

Jacob เขียนร่างแรกก่อน แล้วชวนเพื่อนช่วยแก้ และคุยกับหลายคนว่าควรแสดงออกอย่างไรให้เหมาะสมที่สุด ก่อนโพสต์จริง เขายังตั้งใจขอให้เพื่อนช่วยแชร์ต่อ ตอนนั้นความคิดของเขาคือ:

"Let's try to make this a bit viral."

พยายามทำให้มันแพร่กระจายให้กว้างที่สุด

ผลลัพธ์เกินความคาดหมายของเขามาก Jacob ยอมรับทีหลังว่า เขาไม่เคยเห็นโพสต์ที่พูดเรื่องความปลอดภัย AI ได้รับการเผยแพร่แบบนี้มาก่อน เขามองว่าปฏิกิริยาแบบนี้มาจาก "อุปสงค์แฝง" ที่ไม่เคยถูกเปิดเผยออกมาก่อน

สื่อซักถามต่อถึงกระบวนการเผยแพร่โพสต์นี้ Jacob ปฏิเสธว่าไม่ได้ร่วมมือกับองค์กรใดโปรโมทก่อนโพสต์ แต่ยอมรับว่าหลังโพสต์แล้ว เขาตั้งกลุ่มประมาณสิบคน ขอให้คนในกลุ่มช่วยแชร์ต่อ ซึ่งรวมถึงผู้ก่อตั้งองค์กรความปลอดภัย AI ชื่อ Encode

ก่อนและหลังโพสต์ เขายังได้พูดคุยกับ Daniel Kokotajlo ผู้เขียน 《AI 2027》 และอดีตพนักงาน OpenAI

คนที่มอง Jacob เป็นผู้เป่านกหวีดจะบอกว่า การที่เขาแก้ร่างหลายรอบและตั้งใจ找人แชร์ ก็แค่อยากให้คำเตือนที่เขาคิดว่าสำคัญพอถูกคนเห็นมากขึ้น ส่วนคนที่ตั้งคำถามก็จับรายละเอียดเดียวกัน มองว่ากระแสนี้ถูกออกแบบมาอย่างดี

สองมุมมองนี้เถียงกันต่อไปได้ แต่ปัญหาที่ยุ่งยากกว่าคือ Jacob, Dario Amodei, Sam Altman และคนที่ทำงานอยู่ใกล้โมเดลระดับแนวหน้าจริง ๆ พวกเขาเห็นอะไรกันแน่ ทำไมถึงเริ่มพูดเรื่องเหล่านี้พร้อมกันในเวลานี้

คุณตั้งคำถามได้ว่า Jacob ทำให้ประโยคนี้ไปถึงคน 170 ล้านคนได้ยังไง แต่การใช้เทคนิคเผยแพร่ไม่ได้แปลว่าประโยคนั้นเป็นเท็จ

เมื่อสิบปีก่อน Vitalik Buterin ผู้ก่อตั้ง Ethereum เคยเขียนบทความยาว พูดถึงความเป็นไปได้ที่ซูเปอร์อินเทลลิเจนซ์จะทำลายมนุษยชาติในที่สุด

ตอนนั้นเขาใช้การเปรียบเทียบที่รุนแรงมาก การที่มนุษย์พยายามควบคุมซูเปอร์อินเทลลิเจนซ์ ก็เหมือนคน IQ 150 พยายามควบคุมเอเจนต์ IQ 6000 คุณสั่งให้มันแก้ปัญหามะเร็ง มันอาจได้คำตอบว่าต้องกำจัดคนที่อาจเป็นมะเร็งทั้งหมดก่อน

ในปี 2016 คำพูดเหล่านี้ยังอยู่ในบล็อก ฟอรัม และการทดลองทางความคิดเป็นหลัก สิบปีต่อมา มันเริ่มปรากฏในจดหมายลาออกของพนักงานห้องปฏิบัติการแนวหน้า ในแถลงการณ์สาธารณะของซีอีโอบริษัท AI ใหญ่ที่สุดไม่กี่แห่ง และเริ่มเข้าสู่วาระจริงของการกำกับดูแลภาครัฐ ตลาดทุน และการแข่งขันระหว่างประเทศ

และสิ่งที่ทำให้เรื่องนี้จัดการยากขึ้นไปอีกคืออีกแง่มุมหนึ่ง

วันที่ 2 สิงหาคม 1939 นักฟิสิกส์ Leo Szilard ร่างจดหมายฉบับหนึ่ง โดยมี Einstein ลงนาม สองเดือนต่อมา จดหมายนี้ถูกส่งถึง Roosevelt ในจดหมายเตือนว่า ปฏิกิริยานิวเคลียร์ฟิชชันอาจถูกนำไปสร้างระเบิดที่มีอานุภาพมหาศาล และนาซีเยอรมนีได้เริ่มดำเนินการในสาขาที่เกี่ยวข้องแล้ว สหรัฐฯ ต้องตอบสนองโดยเร็วที่สุด

Einstein ไม่ได้เข้าร่วมโครงการแมนฮัตตันในภายหลัง และรู้สึกเสียใจกับการลงนามของตัวเองในครั้งนั้นไปอีกนาน แต่ปัญหาที่อยู่ตรงหน้าพวกเขาในตอนนั้นโหดร้ายมาก ต่อให้คุณคิดว่าเทคโนโลยีหนึ่งอันตราย ตราบใดที่คุณเชื่อว่าคู่ต่อสู้กำลังสร้างมันอยู่ การหยุดอาจอันตรายกว่าการเดินหน้าต่อ

แปดสิบกว่าปีต่อมา กับดักแบบเดียวกันกลับมาในรูปแบบใหม่

Dario บอกว่าต้องชะลอความเร็ว ทรัมป์บอกว่าจีนยังไล่ตามอยู่; ห้องปฏิบัติการไม่กี่แห่งอยากกำหนดกฎความปลอดภัยร่วมกัน แต่ก็ไม่มีใครยอมมอบอำนาจตัดสินใจให้คนอื่นทั้งหมด ทุกคนพูดถึงเบรก แต่ก็จ้องว่ารถคันข้าง ๆ ปล่อยคันเร่งหรือยัง

ที่สำคัญกว่านั้นคือ เรายังไม่รู้ว่า ดวงตาที่อยู่ใกล้โมเดลระดับแนวหน้าที่สุด มองเห็นไปไกลแค่ไหน