tokens
tokens
characters
words
estimated tokens
estimated tokens
Cara pakai penghitung token
- Ketik atau tempel teks di kotak input. Angkanya diperbarui sekitar 300 ms setelah kamu berhenti mengetik.
- Kartu pertama untuk GPT-4o, GPT-4.1 dan model seri o, yang memakai tokenizer o200k_base.
- Kartu kedua untuk GPT-4 dan GPT-3.5 Turbo, yang memakai cl100k_base.
- Estimasi dari karakter dan kata cuma perkiraan kasar. Rumusnya patokan umum (4 karakter atau 0,75 kata per token), bukan tokenizer.
Contoh: kalimat yang sama dalam bahasa Inggris dan Indonesia
Dua kalimat ini panjangnya hampir sama, 61 dan 62 karakter:
Good morning, how are you? I am learning how to count tokens.
Selamat pagi, apa kabar? Saya sedang belajar menghitung token.Kalimat bahasa Inggris jadi 15 token di kedua tokenizer. Kalimat bahasa Indonesia jadi 15 token di o200k_base, tapi 20 token di cl100k_base.
Kosakata o200k_base kira-kira dua kali cl100k_base (sekitar 200.000 lawan 100.000 entri), jadi kata non-Inggris dipecah jadi lebih sedikit potongan. Kalau dikirim ke GPT-4, kalimat bahasa Indonesia tadi makan sepertiga token lebih banyak daripada di GPT-4o.
Pertanyaan umum
Model saya pakai tokenizer yang mana?
GPT-4o, GPT-4o mini, GPT-4.1 dan model reasoning o1, o3 dan o4-mini memakai o200k_base. GPT-4, GPT-4 Turbo dan GPT-3.5 Turbo memakai cl100k_base.
Apakah ini bisa menghitung token Claude atau Gemini?
Tidak. Claude dan Gemini punya tokenizer sendiri, jadi angka di sini hanya gambaran kasar. Untuk angka pasti, API Anthropic punya endpoint count_tokens dan API Gemini punya countTokens.
Kenapa tagihan API saya lebih besar dari angka ini?
Request chat menambah beberapa token per pesan untuk role dan format, dan system prompt, definisi tool serta balasan model juga ikut ditagih. Tool ini hanya menghitung teks yang kamu tempel.
1.000 kata itu berapa token?
Untuk teks bahasa Inggris, kira-kira 1.300 sampai 1.400 token. Kode, angka dan teks non-Inggris biasanya lebih banyak. Tempel contoh teksmu sendiri untuk angka yang sebenarnya.
Apakah teks saya dikirim ke server?
Tidak. Tokenizer jalan di browser memakai library gpt-tokenizer. Teks yang kamu ketik tidak dikirim ke server.