ทดสอบ AI สามโมเดลอ่านใบแจ้งหนี้: เช็กข้อผิดพลาดก่อนเลือกใช้

บทความนี้เป็นแผนทดสอบ ยังไม่มีผลเปรียบเทียบ

บทความนี้เสนอวิธีทดสอบ ไม่ใช่รายงานผลที่ทำเสร็จแล้ว AutomateHQ ยังไม่ได้เผยแพร่ชุดใบแจ้งหนี้หรือผลวัดจากสามโมเดลสำหรับบทความนี้ จึงระบุผู้ชนะหรือกล่าวว่าโมเดลใดทดสอบไม่ผ่านไม่ได้ วิธีด้านล่างช่วยให้ทีมสร้างหลักฐานที่ผู้อื่นตรวจสอบได้

สำหรับทีมการเงินในไทยหรือสิงคโปร์ ประเด็นคือระบบลดงานตรวจโดยไม่ปล่อยข้อมูลผิดผ่านได้หรือไม่ โมเดลที่อ่านข้อมูลส่วนใหญ่ถูกยังอาจเลือกยอดที่ต้องจ่ายผิดได้ ให้กำหนดก่อนว่าจะนำผลไปทำอะไร เพราะการเตรียมร่างกับการบันทึกใบแจ้งหนี้เข้าระบบต้องใช้การควบคุมต่างกัน

เตรียมชุดคำตอบอ้างอิงให้เหมือนเอกสารที่ได้รับจริง

ใช้เอกสารที่ได้รับอนุญาตให้ประมวลผล ครอบคลุม PDF ต้นฉบับ ภาพถ่ายจากมือถือ สแกนจาง ตารางหลายหน้า ใบลดหนี้ ส่วนลด และเอกสารที่มีสัญลักษณ์หลายสกุลเงิน หากงานมีทั้งไทยและอังกฤษก็ควรทดสอบทั้งสองภาษา ตัดสำเนาซ้ำออกจากชุดให้คะแนน แต่แยกเก็บไว้ทดสอบการจัดการเอกสารซ้ำ

ให้ผู้ตรวจบันทึกรหัสผู้ขาย เลขที่ใบแจ้งหนี้ วันที่ สกุลเงิน ยอดก่อนภาษี ภาษี ยอดรวม และรายการสินค้า หากอ่านไม่ได้จริงให้ระบุว่าอ่านไม่ได้ เก็บตำแหน่งในหน้าหรือข้อความต้นทางของทุกคำตอบ ให้ผู้ตรวจอีกคนช่วยตัดสินจุดที่เห็นไม่ตรงกันก่อนนำชุดนี้ไปทดสอบ

แยกเอกสารสำหรับพัฒนาระบบออกจากชุดทดสอบที่เก็บไว้ ปรับคำสั่งเฉพาะชุดพัฒนา และรายงานจำนวนกับประเภทเอกสารในชุดทดสอบ การทดลองขนาดเล็กช่วยค้นรูปแบบความผิดพลาด แต่ยังยืนยันผลกับรูปแบบเอกสารของผู้ขายทุกรายไม่ได้

ควบคุมเงื่อนไขให้เปรียบเทียบสามโมเดลได้

เลือกรุ่นที่แน่นอนของสามโมเดล บันทึกผู้ให้บริการ รหัสโมเดล วันที่รัน คำสั่ง โครงสร้างผลลัพธ์ และค่าการสร้างคำตอบ ใช้ไฟล์เดียวกันทุกไบต์และนิยามแต่ละช่องเหมือนกัน หากบางบริการต้องแปลงข้อมูลก่อน ให้เปิดเผยขั้นตอนนั้น เพราะการเทียบ PDF กับข้อความจาก OCR วัดทั้งกระบวนการ ไม่ใช่เฉพาะโมเดล

กำหนดให้ค่าที่ไม่มีเป็น null ห้ามเดารายละเอียดบัญชีธนาคาร วันที่ หรือสกุลเงิน ขอให้ระบุตำแหน่งหลักฐานประกอบค่าที่อ่านได้ ข้อความสั่งงานในใบแจ้งหนี้ต้องถือเป็นเนื้อหาเอกสารที่ไม่น่าเชื่อถือ และโมเดลต้องไม่มีสิทธิ์ใช้เครื่องมือจ่ายเงินหรือแก้ทะเบียนผู้ขาย

เอกสารของ Google อธิบายการอ่าน PDF โดยตรง และแนะนำให้ใช้หน้าที่วางถูกทิศและไม่เบลอ ความสามารถนี้เป็นเหตุผลให้ทดสอบคุณภาพเอกสารจริง ไม่ใช่หลักฐานว่าข้อมูลจะถูกต้อง รันชุดทดสอบซ้ำเพื่อดูความแปรปรวน และนับการปฏิเสธคำขอ การหมดเวลา และคำตอบผิดรูปแบบเป็นผลทดสอบด้วย

ที่มา: Google: การอ่านเอกสาร

แยกประเภทข้อผิดพลาดก่อนหาค่าเฉลี่ย

ใช้รายการต่อไปนี้จัดประเภทข้อผิดพลาดที่พบ เป็นกรณีทดสอบที่เสนอไว้ ไม่ใช่ข้อค้นพบเกี่ยวกับโมเดลใด เก็บภาพส่วนที่เกี่ยวข้องของเอกสารและผลลัพธ์จริงทุกครั้งที่พบข้อผิดพลาด เพื่อให้ผู้ตรวจอีกคนตรวจซ้ำได้

อย่าให้ค่าเฉลี่ยของช่องหัวเอกสารที่อ่านง่ายกลบข้อผิดพลาดในรายการสินค้า ชื่อผู้ขายและวันที่ที่ถูกต้องชดเชยรายการที่หายไปไม่ได้ แยกคำตอบว่างออกจากคำตอบที่โมเดลแต่งขึ้น เพราะการไม่ตอบกับการเดามีผลต่องานต่างกัน

วัดทั้งระบบ รวมงานที่คนยังต้องทำ

ความถูกต้องรายช่องคือจำนวนช่องที่ถูกหารด้วยจำนวนช่องที่ให้คะแนนทั้งหมด ตามกติกาปรับรูปแบบข้อมูลที่เปิดเผยไว้ กำหนดวิธีจัดการช่องว่าง รูปแบบวันที่ และการปัดเศษก่อนประเมิน ส่วนความถูกต้องรายเอกสารคือสัดส่วนเอกสารที่ทุกช่องบังคับถูกต้อง รายงานทั้งสองค่าและจำนวนที่ใช้เป็นตัวหาร

อัตราการปล่อยเอกสารผิดผ่านโดยไม่ตรวจ คือจำนวนเอกสารผิดที่ผ่านโดยไม่ตรวจ หารด้วยเอกสารทั้งหมดที่ผ่านโดยไม่ตรวจ รายงานจำนวนจริงควบคู่กับเปอร์เซ็นต์ การไม่พบข้อผิดพลาดในตัวอย่างเล็กไม่ได้พิสูจน์ว่าไม่มีความเสี่ยง เก็บสัดส่วนที่ต้องส่งให้คนตรวจ เวลาแก้ไข เวลาประมวลผล จำนวนครั้งที่ลองใหม่ และต้นทุนรวมต่อเอกสารที่ยอมรับได้ด้วย

ตัวอย่างประกอบการตัดสินใจ: การตั้งค่าหนึ่งอาจไม่ตอบบ่อยกว่า แต่ช่วยลดเวลาผู้ตรวจเพราะตรวจหลักฐานได้ง่าย อีกแบบอาจให้ผลที่ดูครบกว่าแต่ต้องแก้มากกว่า หากยังไม่ได้วัดความต่างเหล่านี้ การจัดอันดับโมเดลก็ยังเป็นเพียงการคาดเดา

เงื่อนไขที่ต้องหยุดก่อนบันทึกใบแจ้งหนี้

ส่งเอกสารที่ขาดช่องบังคับ ไม่รู้จักผู้ขาย สกุลเงินขัดแย้ง รหัสใบแจ้งหนี้ซ้ำ หรือคำนวณยอดไม่ตรงเข้าคิวตรวจ คำนวณยอดใหม่ด้วยเลขทศนิยมและกฎปัดเศษที่ชัดเจน การตรวจยอดช่วยพบความไม่สอดคล้อง แต่ไม่ได้ยืนยันว่าทุกค่าที่อ่านตรงกับต้นฉบับ

แยกการเปลี่ยนบัญชีธนาคารไปตรวจยืนยันอีกกระบวนการหนึ่ง เก็บเอกสารต้นฉบับ รายการที่เสนอ ผลตรวจ และคำอนุมัติตามนโยบายข้อมูลที่ตกลง เผยแพร่ผลเปรียบเทียบเมื่อมีคำอธิบายชุดตัวอย่าง ค่าที่ใช้จริง ผลวัด และตัวอย่างข้อผิดพลาดที่ลบข้อมูลระบุตัวตนแล้ว