KOMPAS.com - ChatbotAI populer seperti ChatGPT dan Microsoft Copilot ditopang oleh model bahasa besar (large language model/LLM) bernama "GPT-4".

GPT-4 ini lebih cerdas dan canggih dibandingkan GPT-3.5 karena sudah memiliki 1,7 triliun parameter pembelajaran mesin, input multimodal (teks, gambar), pemahaman bahasa lebih baik, respons lebih ekspresif.

Di balik kecanggihannya, GPT-4 ini ternyata membutuhkan konsumsi listrik yang besar. Menurut laporan Towards Data Science, untuk melatih (training) model AI GPT-4 selama 90-100 hari, dibutuhkan listrik hingga sekitar 62.000 MWh. Ini setara dengan konsumsi energi dari 1.000 rumah tangga AS pada umumnya selama 5 hingga 6 tahun.

Pada bulan Januari, konsumsi listri per bulan ChatGPT dilaporkan kira-kira sebanyak 26.000 rumah tangga AS untuk inferensi (proses input dan output).

Rincian konsumsi listri GPT-4

Kecanggihan GPT-4 dimungkinkan karena model AI ini dilatih menggunakan sekitar 25.000 GPU Nvidia A100 selama 90-100 hari. Biayanya training model ini dilaporkan mencapai 100 juta dollar AS.

Mari kita lihat rincian hitung-hitungan estimasi konsumsi listrik yang dibutuhan untuk melatih GPT-4 berdasarkan laporan Towards Data Science.

Misal, kita asumsikan GPU dipasang di server Nvidia HGX yang masing-masing dapat menampung 8 GPU. Berarti, GPT-4 membutuhkan 25.000/8 = 3.125 server.

Salah satu cara untuk memperkirakan konsumsi listrik dari informasi ini adalah dengan mempertimbangkan daya desain termal (TDP) server Nvidia HGX.

TDP, yang dilambangkan dalam watt, menyatakan konsumsi daya perangkat keras di bawah beban teoritis maksimum. Konsumsi daya aktual mungkin berbeda.

Nvidia tidak mengungkapkan informasi ini, jadi mari kita gunakan TDP dari server Nvidia DGX yang serupa, yaitu 6,5 kW. Jadi, jika server Nvidia DGX berjalan dengan daya penuh selama 1 jam, server tersebut akan mengonsumsi 6,5 KWh, berdasarkan perhitungan TDP.

Seperti disebut sebelumnya, model AI GPT-4 disebut membutuhkan diperlukan waktu 90–100 hari untuk melatih GPT-4. Itu berarti 90 x 24 jam= 2.160 jam per server atau 100 x 24 jam = 2.400 jam per server.

Jika kita berasumsi server beroperasi dengan daya penuh secara konstan, kita dapat mengalikan jumlah jam dengan 6,5 KWh. Dari situ, kita memperoleh bahwa selama pelatihan, setiap server mungkin telah mengonsumsi listrik sebesar 14.040 KWh hingga 15.600 KWh.

Karena butuh 3.125 server, maka 3.125 x 14.040 KWh = 43.875.000 KWh atau 3.125 x 15.600 = 48.750.000 KWh.

Saat menghitung konsumsi energi perangkat keras komputer, biasanya konsumsi energi perangkat keras dikalikan dengan apa yang disebut efektivitas penggunaan daya (PUE) pusat data tempat perangkat keras tersebut beroperasi.

PUE adalah rasio yang menggambarkan seberapa efisien pusat data komputer menggunakan energi.

GPT-4 kemungkinan besar dilatih di pusat data Microsoft Azure, mengingat adanya kemitraan antara OpenAI dengan Microsoft. Pusat data Microsoft Azure memiliki PUE rata-rata 1,18. Perlu dicatat bahwa ini dapat bervariasi di antara pusat data.

Jadi, jika mengalikan konsumsi listrik perangkat keras sebesar 43.875.000 hingga 48.750.000 KWh dengan 1,18, maka didapatkan hasil 51.772.500 KWh dan 57.525.000 KWh.

Jadi, estimasi konsumsi listrik untuk melatih GPT-4 selama 90-100 hari adalah antara 51.772 MWh dan 57.525 MWh. Ini setara dengan konsumsi energi selama 5 hingga 6 tahun dari 1.000 rumah tangga AS pada umumnya.

Angka tersebut 40 kali lebih tinggi dari estimasi konsumsi listrik yang dikonsumsi pendahulunya, GPT-3, sebagaimana dihimpun KompasTekno dari Towards Data Center, Senin (5/8/2024).

Konsumsi listrik Microsoft naik 2x lipat

Konsumsi listrik tahunan Microsoft meningkat lebih dari dua kali lipat dari 11 TWh (2020) menjadi 24 TWh (2023) dalam empat tahun.

Konsumsi listrik Microsoft ini lebih besar dibandingkan konsumsi listrik negara Yordania. Dalam setahun, Yordania yang punya 11 juta penduduk disebut menggunakan listrik 20 TWh.

Lonjakan penggunaan listrik Microsoft ini disertai dengan peningkatan total emisi karbon sebesar 42 persen.

Lonjakan konsumsi lisrik dan emisi karbon ini diyakini merupakan akibat dari penggunaan server Microsoft Azure untuk melatih dan menjalankan model AI, ChatGPT milik OpenAI, misalnya.

KOMPAS.com - Induk chatbot ChatGPT, OpenAI meluncurkan model bahasa besar (Large Language Model/LLM) versi baru, yaitu GPT-4o Long Output. LLM tersebut diumumkan lewat situs resmi OpenAI pada Senin (29/7/2024).

GPT-4o Long Output merupakan versi baru dari LLM GPT-4o yang dirilis pada Mei 2024 lalu. Sebagai versi baru, OpenAI meningkatkan jumlah output token yang bisa dihasilkan oleh GPT-4o Long Output, yaitu sebanyak 64.000 token.

Token merupakan satuan untuk menghitung jumlah karakter atau kata yang diproses atau dihasilkan model AI. Satu token bisa berarti satu karakter atau satu kata dalam sebuah kalimat, tergantung dengan hitungan sistem yang kompleks.

Jumlah dukungan token GPT-4o Long Output sendiri naik 16 kali lipat dibanding GPT-4o dengan dukungan output 4.000 token. Artinya, GPT-4o Long Output bisa memberikan jawaban yang lebih panjang dari GPT-4o.

Dukungan token yang lebih banyak juga memungkinkan pengguna maupun pengembang yang memanfaatkan LLM ini, mendapat respons yang lebih panjang dan komprehensif, misalnya untuk mengedit kode program dan lain sebagainya.

OpenAI tak merinci alasan di balik hadirnya GPT-4o Long Output di situs resminya. Namun menurut penjelasan juru bicara OpenAI, LLM versi baru itu hadir berkat masukan dari pelanggan.

"Mereka menginginkan konteks output yang lebih panjang. Kami selalu menguji cara baru agar kami dapat melayani kebutuhan pelanggan dengan baik," kata juru bicara OpenAI, dikutip KompasTekno dari Venturebeat, Kamis (1/8/2024).

Terlepas dari perbedaan jumlah token output-nya, jendela konteks (context window) yang bisa diproses GPT-4o Long Output sama seperti GPT-4o, yaitu maksimum 128.000 token. Context window adalah jumlah token yang bisa diproses model AI dalam satu interaksi, mencakup token input dan output-nya.

Jadi pengguna bisa memberikan perintah teks dan mendapat jawaban, sampai 128.000 token bila digabungkan. Akan tetapi respons yang didapat pengguna GPT-4o Long Output bisa lebih panjang dari pengguna GPT-4o, karena dukungan token output-nya sampai 64.000, tidak mentok di 4.000 token.

Adapun untuk saat ini, GPT-4o Long Output baru tersedia dalam versi Alpha, secara terbatas untuk sekelompok pengguna. Periode pengujian ini disebut berlangsung selama beberapa pekan agar OpenAI bisa mengevaluasi seberapa efektif output ekstra dari GPT-4o Long Output untuk pengguna.

Hasil evaluasi itu nantinya menjadi bahan pertimbangan, apakah OpenAI akan memperluas ketersediaan GPT-4o Long Output ke lebih banyak pengguna atau tidak.

Rilis GPT-4o gratis

Pada pertengahan Mei 2024 lalu, OpenAI resmi merilis model bahasa besar (large language model/LLM) alias model AI terbaru dan tercanggih (flagship) mereka, yaitu GPT-4o.

Sama seperti GPT-3.5 atau GPT-4 Turbo, GPT-4o bisa diakses secara gratis menggunakan chatbot populer ChatGPT. Hanya saja, GPT-4o diklaim dapat membuat interaksi pengguna dengan chatbot tersebut lebih "hidup".

Bisa dibilang demikian karena fitur respons suara di GPT-4o sebenarnya sudah ada di model-model AI bikinan OpenAI sebelumnya, namun kini diklaim akan lebih natural, ekspresif, dan lebih humanis, alias bisa memiliki intonasi dan emosi seperti manusia.

OpenAI mendemonstrasikan kemampuan GPT-4o dalam sebuah video yang diunggah di kanal YouTube mereka.

Dalam video tersebut, Chief Technology Officer (CTO) OpenAI, Mira Murati dan dua rekannya menampilkan bahwa GPT-4o dapat memberikan feedback dan solusi kepada pengguna apabila mereka melakukan kesalahan.

Hal ini diproses model AI tersebut secara real time via interaksi suara, dan kegiatan ini bisa dibilang lebih mirip seperti sebuah percakapan dengan seseorang.

Sebab, respons yang disampaikan GPT-4o terbilang cukup gesit, dan terbilang lebih cepat dibanding asisten digital macam Google Assistant atau Siri.

Selain cepat, suara yang dikeluarkan GPT-4o juga akan terdengar lebih ekspresif, misalnya dengan ekspresi tertawa atau kesal, dan dengan intonasi berbeda-beda, seperti intonasi halus, keras, nada robot, dan intonasi suara lainnya sesuai dengan kemauan pengguna.

Di samping itu, GPT-4o juga bisa berhenti bicara jika pengguna menginterupsinya. Di model AI sebelumnya, chatbot akan terus berbicara sebelum kalimat yang ingin disampaikan selesai dibacakan.

Lalu, GPT-4o juga memiliki kemampuan menerjemahkan bahasa secara langsung. Dalam video demonstrasi, model AI tersebut bisa menerjemahkan bahasa asing secara langsung ke bahasa lain yang diminta via suara, asalkan bahasa tersebut didukung oleh ChatGPT.

Selain suara yang lebih natural, GPT-4o, apabila dibandingkan dengan LLM OpenAI lainnya, kini juga lebih pintar untuk mendeskripsikan gambar yang "dilihat", sekaligus bisa merangkum segala informasi yang ada di dalam gambar tersebut.

Hal ini terbilang wajar karena huruf "o" di GPT-4o merupakan singkatan untuk kata "omni" yang berasal dari bahasa Inggris.

Jika diterjemahkan ke bahasa Indonesia, omni kira-kira memiliki arti "serba bisa". Artinya, GPT-4o merupakan model AI serba bisa di berbagai tipe pemrosesan konten, mulai dari teks, gambar, hingga suara.

Sebagaimana dirangkum KompasTekno dari TechCrunch, Selasa (14/5/2024), model AI GPT-4o tersedia dan bisa dijajal via ChatGPT versi gratis maupun berbayar (Plus dan Team).