Attention Is All You Need
งานนี้เสนอ Transformer สำหรับแปลงลำดับข้อมูล โดยใช้ attention เป็นกลไกหลักแทน recurrence และ convolution พร้อมทดลองกับงานแปลภาษา
🎓คลังงานวิจัย
FROM CURIOSITY TO DISCOVERY
อ่านให้ลึก คิดให้ไกล.
เชื่อมงานวิจัยกับสิ่งที่คุณเรียน ผ่านบันทึกเล็ก ๆ และคำถามที่ดีขึ้น
ชิ้นงานที่สร้างและเปิดแก้ได้
งานวิจัยของเรา
กำลังเปิดชิ้นงาน…
THE RESEARCH MINDSETทุกไอเดียใหม่
ทุกไอเดียใหม่
เริ่มจากคำถามที่ยังไม่มีคำตอบ
เริ่มด้วย paper สำคัญหนึ่งเรื่อง อ่านตามจังหวะของคุณ
แล้วบันทึกสิ่งที่เข้าใจและสิ่งที่ยังสงสัย
4 papers ที่คัดเลือก0 เก็บไว้อ่าน0 กำลังอ่าน0 อ่านแล้ว
4 papers
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
BERT ฝึก representation ของข้อความโดยใช้บริบททั้งซ้ายและขวา แล้วนำโมเดลที่ฝึกไว้ไปปรับสำหรับงานด้านความเข้าใจภาษา
Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
งานนี้เชื่อมโมเดลสร้างภาษากับการค้นข้อมูลจากดัชนีภายนอก โดยใช้ Wikipedia เป็นแหล่งความรู้ที่ค้นคืนได้ในการทดลอง
LoRA: Low-Rank Adaptation of Large Language Models
LoRA ตรึงน้ำหนักเดิมของโมเดล แล้วฝึกเมทริกซ์ขนาดเล็กที่แทนการปรับน้ำหนักแบบ low-rank เพื่อลดจำนวนพารามิเตอร์ที่ต้องฝึก
Metadata ตรวจจาก arXiv · 3 ต.ค. 2569
สรุปไทยเป็นบันทึกเบื้องต้นที่เขียนใหม่ ยังไม่ผ่านผู้เชี่ยวชาญ · อ่าน งานต้นฉบับ ประกอบ · ไม่มีการดึงข้อมูลหรือเรียก AI อัตโนมัติ