Implementasi Transformer dan RAG untuk Otomatisasi Akuisisi Informasi dari Publikasi Akademik: Konstruksi Chatbot Berbasis Web Berorientasi PDF
Submission Date: 2024-08-01 13:25:58
Accepted Date: 2025-04-24 08:34:06
Abstract
Dalam konteks tantangan berkelanjutan yang dihadapi oleh komunitas akademis dalam menyerap serta menginterpretasi konten publikasi ilmiah yang kompleks dan luas, yang memerlukan tingkat pemahaman konseptual yang tinggi dan keterlibatan kognitif yang intens, integrasi paradigma pembelajaran mesin dengan spesialisasi Transformer ke dalam sistem otomatisasi menjanjikan peningkatan signifikan dalam efisiensi akuisisi informasi ilmiah. LLM menunjukkan kapabilitas yang mengesankan tetapi dihadapkan pada kendala seperti halusinasi, pengetahuan yang usang, serta proses penalaran yang tidak transparan dan sulit dilacak. RAG muncul sebagai solusi potensial dengan menggabungkan pengetahuan dari database eksternal. Paper ini mengimplementasikan dan mengintegrasikan OpenAI GPT-4 dan Pinecone ke dalam framework NextJs untuk konstruksi sebuah website chatbot yang berorientasi PDF. Analisis kuantitatif mengungkapkan variasi kinerja sistem dalam beberapa dimensi evaluasi. Tingkat context precision mencapai 0.79, menandakan efektivitas yang baik, sementara answer relevancy menunjukkan performa unggul dengan nilai 0.83. Kemampuan context recall dan answer correctnepenss menampilkan hasil yang cukup memuaskan, masing-masing dengan skor 0.68 dan 0.7. Meskipun demikian, aspek faithfulness memperoleh skor 0.51, mengindikasikan kebutuhan akan penyempurnaan signifikan dalam area ini untuk meningkatkan kinerja sistem secara keseluruhan. Integrasi berkas PDF pada sistem mengakibatkan peningkatan signifikan dari tingkat keakuratan jawaban sebesar 0.2, dari 0.5 pada tahap pre-implementasi menjadi 0.7 pada tahap post-implementasi.
Keywords
Transformer; RAG; Chatbot; Website
CC Licencing
Authors who publish with this journal agree to the following terms:
- Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
- Authors retain copyright and grant the journal right of first publication with the work simultaneously licensed under a Creative Commons Attribution License that allows others to share the work with an acknowledgement of the work's authorship and initial publication in this journal.
- Authors are able to enter into separate, additional contractual arrangements for the non-exclusive distribution of the journal's published version of the work (e.g., post it to an institutional repository or publish it in a book), with an acknowledgement of its initial publication in this journal.
- Authors are permitted and encouraged to post their work online (e.g., in institutional repositories or on their website) prior to and during the submission process, as it can lead to productive exchanges, as well as earlier and greater citation of published work (See The Effect of Open Access).
Refbacks
- There are currently no refbacks.

Jurnal Teknik ITS by Direktorat Riset dan Pengabdian Masyarakat (DRPM) ITS is licensed under a Creative Commons Attribution-ShareAlike 4.0 International License.
Based on a work at https://ejurnal.its.ac.id/index.php/teknik.
Statistik Pengunjung