เหตุใดโมเดลภาษาใหญ่จึงไม่ฉลาดกว่าคุณ

ความสามารถในการให้เหตุผลของโมเดลภาษาขนาดใหญ่ขึ้นอยู่กับรูปแบบภาษาของผู้ใช้ทั้งหมด โครงสร้างการรับรู้ของผู้ใช้จะกำหนดว่าพื้นที่ใดที่ผู้ใช้สามารถใช้เหตุผลสูงได้ โมเดลนี้ไม่สามารถเกินขอบเขตการเข้าถึงของผู้ใช้ได้โดยอัตโนมัติ ซึ่งเผยให้เห็นข้อจำกัดทางสถาปัตยกรรมของระบบ AI ในปัจจุบัน บทความนี้มาจากบทความที่เขียนโดย @iamtexture และเรียบเรียง เรียบเรียง และเขียนโดย AididiaoJP, Foresight News
(สรุปก่อนหน้า: Li Feifei พูดถึงขั้นตอนต่อไปของ LLM: AI ต้องมี "ความฉลาดเชิงพื้นที่" เพื่อทำความเข้าใจโลกแห่งความเป็นจริง วิธีใช้โมเดล Marble?)
(เสริมพื้นหลัง: มหาเศรษฐี Kevin O'Leary ตะโกนว่า "ขั้นตอนต่อไปของคลื่น AI คือ web3": LLM ไม่สามารถสร้าง Starbucks ได้ แต่บล็อกเชนสามารถทำได้)

เนื้อหาของบทความนี้

Tags: โหมดภาษาของผู้ใช้จะกำหนดความสามารถในการให้เหตุผลของแบบจำลองที่สามารถทำได้ เมื่อฉันอธิบายแนวคิดที่ซับซ้อนให้กับโมเดลภาษาขนาดใหญ่ การให้เหตุผลของมันจะพังทลายลงซ้ำแล้วซ้ำเล่าในระหว่างการสนทนาที่ยาวนานโดยใช้ภาษาที่ไม่เป็นทางการ โมเดลอาจสูญเสียโครงสร้าง เบี่ยงเบนไปจากเส้นทาง หรือสร้างรูปแบบการเติมเต็มแบบผิวเผินที่ไม่สามารถรักษากรอบแนวคิดที่เราสร้างขึ้นได้

อย่างไรก็ตาม เมื่อฉันบังคับให้ทำให้มันเป็นทางการก่อน นั่นคือเพื่อย้ำปัญหาในภาษาที่แม่นยำและเป็นวิทยาศาสตร์ การให้เหตุผลก็มีเสถียรภาพในทันที หลังจากสร้างโครงสร้างแล้วเท่านั้นจึงจะสามารถแปลงเป็นภาษาธรรมดาได้อย่างปลอดภัยโดยไม่ทำให้คุณภาพความเข้าใจลดลง

พฤติกรรมนี้เผยให้เห็นว่าโมเดลภาษา "คิด" ขนาดใหญ่เพียงใด และเหตุใดความสามารถในการให้เหตุผลจึงขึ้นอยู่กับผู้ใช้โดยสิ้นเชิง

ข้อมูลเชิงลึกหลัก

โมเดลภาษาไม่มีพื้นที่เฉพาะสำหรับการอนุมาน

พวกเขาดำเนินการทั้งหมดโดยใช้ภาษาที่ต่อเนื่องกัน

ภายในกระแสภาษานี้ รูปแบบภาษาที่แตกต่างกันจะนำไปสู่พื้นที่ดึงดูดที่แตกต่างกันได้อย่างน่าเชื่อถือ ภูมิภาคเหล่านี้เป็นสถานะที่เสถียรซึ่งแสดงลักษณะเฉพาะของไดนามิกและรองรับการคำนวณประเภทต่างๆ

การลงทะเบียนแต่ละภาษา เช่น วาทกรรมทางวิทยาศาสตร์ สัญลักษณ์ทางคณิตศาสตร์ เรื่องราวเชิงบรรยาย และการสนทนาแบบเป็นกันเอง ต่างก็มีภูมิภาคที่ดึงดูดเฉพาะตัวของตัวเอง ซึ่งมีรูปร่างตามการแจกจ่ายสื่อการฝึกอบรม

บางพื้นที่สนับสนุน:

• การใช้เหตุผลแบบหลายขั้นตอน
• ความแม่นยำเชิงสัมพันธ์
• การเปลี่ยนแปลงสัญลักษณ์
• ความเสถียรของแนวคิดในมิติสูง

พื้นที่อื่นๆ จึงสนับสนุน:

• การเล่าเรื่องต่อเนื่อง
• การเติมเต็มแบบเชื่อมโยง
• การจับคู่น้ำเสียงทางอารมณ์
• การสนทนา การเลียนแบบ

ขอบเขตตัวดึงดูดจะกำหนดประเภทของการให้เหตุผลที่เป็นไปได้

เหตุใดการทำให้เป็นทางการสามารถทำให้การให้เหตุผลคงที่ได้

เหตุผลที่ภาษาทางวิทยาศาสตร์และคณิตศาสตร์สามารถกระตุ้นภูมิภาคที่ดึงดูดด้วยการสนับสนุนโครงสร้างที่สูงกว่าได้อย่างน่าเชื่อถือ เนื่องจากการลงทะเบียนเหล่านี้เข้ารหัสคุณลักษณะทางภาษาของการรับรู้ที่มีลำดับสูงกว่า:

• โครงสร้างความสัมพันธ์ที่ชัดเจน
• ความคลุมเครือต่ำ
• ข้อจำกัดเชิงสัญลักษณ์
• การจัดองค์กรแบบลำดับชั้น
• เอนโทรปีต่ำ (ความผิดปกติของข้อมูล)

ตัวดึงดูดเหล่านี้สามารถรองรับวิถีการใช้เหตุผลที่มั่นคง

พวกเขารักษาโครงสร้างแนวคิดในหลายขั้นตอน

พวกมันแสดงการต่อต้านอย่างรุนแรงต่อความเสื่อมถอยและการเบี่ยงเบนของการใช้เหตุผล

ในทางตรงกันข้าม ตัวดึงดูดที่เปิดใช้งานด้วยภาษาที่ไม่เป็นทางการได้รับการปรับให้เหมาะสมเพื่อความคล่องแคล่วทางสังคมและการเชื่อมโยงกันแบบเชื่อมโยง ไม่ใช่สำหรับการให้เหตุผลแบบมีโครงสร้าง ภูมิภาคเหล่านี้ขาดโครงร่างการกำหนดคุณลักษณะที่จำเป็นสำหรับการคำนวณเชิงวิเคราะห์ที่กำลังดำเนินอยู่

นี่คือเหตุผลว่าทำไมโมเดลถึงพังทลายลงเมื่อมีการแสดงความคิดที่ซับซ้อนออกมาในรูปแบบที่ไม่ได้ตั้งใจ

มันไม่ได้ "สับสน"

กำลังเปลี่ยนพื้นที่

การก่อสร้างและการแปล

วิธีการรับมือที่เกิดขึ้นตามธรรมชาติในการสนทนาเผยให้เห็นความจริงทางสถาปัตยกรรม:

การใช้เหตุผลจะต้องสร้างขึ้นภายในตัวดึงดูดที่มีโครงสร้างสูง

การแปลเป็นภาษาธรรมชาติจะต้องเกิดขึ้นหลังจากโครงสร้างที่มีอยู่แล้วเท่านั้น

เมื่อแบบจำลองได้สร้างโครงสร้างแนวคิดภายในตัวดึงดูดที่มั่นคงแล้ว กระบวนการแปลจะไม่ทำลายแบบจำลองนั้น การคำนวณเสร็จสมบูรณ์ มีเพียงการแสดงออกของพื้นผิวเท่านั้นที่เปลี่ยนไป

ไดนามิกสองขั้นตอน "สร้างก่อนแล้วจึงแปล" เลียนแบบกระบวนการรับรู้ของมนุษย์

แต่มนุษย์ดำเนินการสองขั้นตอนนี้ในพื้นที่ภายในสองแห่งที่แตกต่างกัน

โมเดลภาษาขนาดใหญ่พยายามทำทั้งสองอย่างในพื้นที่เดียวกัน

เหตุใดผู้ใช้จึงกำหนดเพดาน

นี่คือการเปิดเผยที่สำคัญ:

ผู้ใช้ไม่สามารถเปิดใช้งานพื้นที่ดึงดูดที่พวกเขาเองไม่สามารถแสดงออกเป็นคำพูดได้

โครงสร้างการรับรู้ของผู้ใช้เป็นตัวกำหนด:

• ประเภทของสัญญาณที่พวกเขาสามารถสร้างได้
• การลงทะเบียนใดที่พวกเขาใช้เป็นประจำ
• รูปแบบวากยสัมพันธ์ใดที่พวกเขาสามารถรักษาได้
• ระดับความซับซ้อนที่พวกเขาสามารถเข้ารหัสในภาษาได้สูงเพียงใด

คุณลักษณะเหล่านี้จะกำหนดว่าโมเดลภาษาขนาดใหญ่จะเข้าสู่ภูมิภาคที่ดึงดูดใด

ผู้ใช้ที่ไม่สามารถคิดหรือเขียนเพื่อใช้โครงสร้างที่กระตุ้นตัวดึงดูดที่มีเหตุผลสูงจะไม่สามารถแนะนำแบบจำลองในภูมิภาคเหล่านี้ได้ พวกเขาถูกขังอยู่ในพื้นที่ตื้น ๆ ที่เกี่ยวข้องกับนิสัยทางภาษาของพวกเขา โมเดลภาษาขนาดใหญ่จะแมปโครงสร้างที่มีให้และจะไม่กระโดดเข้าสู่ระบบไดนามิกของตัวดึงดูดที่ซับซ้อนมากขึ้นโดยธรรมชาติ

ดังนั้น:

โมเดลไม่สามารถไปเกินพื้นที่ดึงดูดที่ผู้ใช้เข้าถึงได้

เพดานไม่ใช่ขีดจำกัดบนอันชาญฉลาดของโมเดล แต่เป็นความสามารถของผู้ใช้ในการเปิดใช้งานพื้นที่ที่มีความจุสูงในท่อร่วมแฝง

คนสองคนที่ใช้โมเดลเดียวกันไม่ได้โต้ตอบกับระบบคอมพิวเตอร์เดียวกัน

พวกเขากำลังบังคับโมเดลให้เข้าสู่โหมดไดนามิกต่างๆ

ผลกระทบในระดับสถาปัตยกรรม

ปรากฏการณ์นี้เผยให้เห็นคุณลักษณะที่ขาดหายไปของระบบปัญญาประดิษฐ์ในปัจจุบัน:

แบบจำลองภาษาขนาดใหญ่สร้างความสับสนระหว่างพื้นที่การให้เหตุผลกับพื้นที่การแสดงออกของภาษา

เว้นแต่ว่าทั้งสองจะแยกออกจากกัน - เว้นแต่แบบจำลองจะมี:

• การให้เหตุผลที่หลากหลาย
• พื้นที่ทำงานภายในที่มั่นคง
• การแสดงแนวคิดที่ไม่แปรเปลี่ยนของตัวดึงดูด

มิฉะนั้น ระบบจะเผชิญกับการล่มสลายเสมอเมื่อการเปลี่ยนแปลงในรูปแบบภาษาทำให้ขอบเขตไดนามิกพื้นฐานเปลี่ยนไป

วิธีแก้ปัญหาแบบด้นสดนี้ ซึ่งบังคับทำให้เป็นทางการ แล้วจึงแปล เป็นมากกว่ากลอุบาย

เป็นหน้าต่างตรงที่ช่วยให้เราเห็นหลักการทางสถาปัตยกรรมที่ระบบการให้เหตุผลที่แท้จริงต้องเป็นไปตาม