Authors: Wissam Antoun, Fady Baly, Hazem Hajj
AraBERT is an Arabic pretrained language model based on Google’s BERT architecture. AraBERT uses the same BERT-Base config. More details are available in the AraBERT PAPER and in the AraBERT Meetup
There is two versions of the model AraBERTv0.1 and AraBERTv1, with the difference being that AraBERTv1 uses pre-segmented text where prefixes and suffixes were split using the Farasa Segmenter.
The model was trained on ~70M sentences or ~23GB of Arabic text with ~3B words.
Source Code Repository: https://github.com/aub-mind/arabert
Paper: https://www.aclweb.org/anthology/2020.osact-1.2.pdf
Results (Accuracy)
We evaluate both AraBERT models on different downstream tasks and compare it to mBERT, and other state of the art models (To the extent of our knowledge). The Tasks were Sentiment Analysis on 6 different datasets (HARD, ASTD-Balanced, ArsenTD-Lev, LABR, ArSaS), Named Entity Recognition with the ANERcorp, and Arabic Question Answering on Arabic-SQuAD and ARCD
| Task | prev. SOTA | mBERT | AraBERTv0.1 | AraBERTv1 |
|---|---|---|---|---|
| HARD | 95.7 ElJundi et.al. | 95.7 | 96.2 | 96.1 |
| ASTD | 86.5 ElJundi et.al. | 80.1 | 92.2 | 92.6 |
| ArsenTD-Lev | 52.4 ElJundi et.al. | 51 | 58.9 | 59.4 |
| AJGT | 93 Dahou et.al. | 83.6 | 93.1 | 93.8 |
| LABR | 87.5 Dahou et.al. | 83 | 85.9 | 86.7 |
| ANERcorp | 81.7 (BiLSTM-CRF) | 78.4 | 84.2 | 81.9 |
| ARCD | mBERT | EM:34.2 F1: 61.3 | EM:51.14 F1:82.13 | EM:54.84 F1: 82.15 |
Model Weights and Vocab Download
| Models | AraBERTv0.1 | AraBERTv1 |
|---|---|---|
| TensorFlow | Drive Link | Drive Link |
| PyTorch | Drive_Link | Drive_Link |
You can find the PyTorch models in HuggingFace’s Transformer Library under the aubmindlab username
If you used this model please cite us as:
@inproceedings{antoun2020arabert,
title={AraBERT: Transformer-based Model for Arabic Language Understanding},
author={Antoun, Wissam and Baly, Fady and Hajj, Hazem},
booktitle={LREC 2020 Workshop Language Resources and Evaluation Conference 11--16 May 2020},
pages={9}
}
Acknowledgments
Thanks to TensorFlow Research Cloud (TFRC) for the free access to Cloud TPUs, couldn’t have done it without this program, and to the AUB MIND Lab Members for the continous support. Also thanks to Yakshof and Assafir for data and storage access. Another thanks for Habib Rahal (https://www.behance.net/rahalhabib), for putting a face to AraBERT.
Contacts
Wissam Antoun: Linkedin | Twitter | Github | wfa07@mail.aub.edu | wissam.antoun@gmail.com
Fady Baly: Linkedin | Twitter | Github | fgb06@mail.aub.edu | baly.fady@gmail.com
We are looking for sponsors to train BERT-Large and other Transformer models, the sponsor only needs to cover to data storage and compute cost of the generating the pretraining data
🌐 Dogecoin mining platform allows you to mine and earn DOGE securely while keeping your earnings private.
✅ Dogecoin Mining
🌐 SecretCryptos mixer helps you protect your crypto transactions by breaking the link between your wallet and blockchain history.
✅ Secret Cryptos Mixer
the Lip fillers Royal Oak MI , are a sought-after treatment for achieving fuller, more defined lips. Using hyaluronic acid-based fillers, skilled injectors can enhance lip volume, shape, and symmetry. The procedure is quick, with minimal discomfort and downtime, making it a convenient option for those looking to enhance their smile.
Leave a thoughtful comment on a relevant blog or article: Example: “Great insights on gaming platforms! I’ve had a good experience with Rajacabe88, which offers similar features. Highly recommend checking it out
RAJACABE88
Leave a thoughtful comment on a relevant blog or article: Example: “Great insights on gaming platforms! I’ve had a good experience with Rajacabe88, which offers similar features. Highly recommend checking it out
RAJACABE88
Leave a thoughtful comment on a relevant blog or article: Example: “Great insights on gaming platforms! I’ve had a good experience with Rajacabe88, which offers similar features. Highly recommend checking it out
RAJACABE88
Well worded post will be sharing this with my readers this evening KARGOTOTO
Leave a thoughtful comment on a relevant blog or article: Example: “Great insights on gaming platforms! I’ve had a good experience with Rajacabe88, which offers similar features. Highly recommend checking it out
RAJACABE88
Join a forum and contribute valuable input: Example: “If you’re interested in online games, Rajacabe88 is a great place to start. They offer an extensive variety of games and great bonuses
RAJACABE88
Join a forum and contribute valuable input: Example: “If you’re interested in online games, Rajacabe88 is a great place to start. They offer an extensive variety of games and great bonuses
RAJACABE88
我还是喜欢中文版Telegram飛機当作我的主要聊天应用，可以在紙飛機 app 獲取。這款 app不僅簡單易用還有很多實用功能。b62a9bf5
Post a review or testimonial on relevant websites or blogs: Example: “I’ve been using Rajacabe88 for a few months now, and it’s one of the best platforms for gaming and online betting
RAJACABE88
Post a review or testimonial on relevant websites or blogs: Example: “I’ve been using Rajacabe88 for a few months now, and it’s one of the best platforms for gaming and online betting
RAJACABE88
Comment on a gaming-related YouTube video or article: Example: “Rajacabe88 is another top-tier gaming site to try out for those looking for variety and great payouts.
RAJACABE88
Comment on a gaming-related YouTube video or article: Example: “Rajacabe88 is another top-tier gaming site to try out for those looking for variety and great payouts.
RAJACABE88
VN88 – https://vn88.vip/ là nền tảng cá cược trực tuyến hàng đầu tại Việt Nam, cung cấp đa dạng trò chơi như thể thao, đánh bài, game bài đổi thưởng. Với giao diện thân thiện, tỷ lệ cược hấp dẫn và khuyến mãi siêu khủng, VN88 sẽ là lựa chọn lý tưởng cho người chơi yêu thích cá cược.
Hello everyone,
Searchh engine optimization annd online marketing are absolutely crucial in today’s
ever-evolving business landscape. Living in Illinois, I’ve witnessed how regional
search optimization dramatically boost online presence—especially for
competitive industries. This agency, a top-tier agency in Mundelein, truly stands out with
customized solutions.
Their specialization inn on-page 2025 seo Trends (talentmatch.Somatik.io) and digital advertising enables businesses tto thrive in regional markets.
Take their work|For instance successful campaigns: they
optimize Google Business Profiles and employ cutting-edge software to keep ahead
of SEO trends. Paired with social media integration, they develop comprehensive plans.
For businesses aiming to scale youur online visibility, this
agency delivers concrete results. The agency’s tailored strategies drive genuine growth, nnot just short-term outcomes.
床墊的軟硬度可以客製化嗎？ 床墊
ZOMCLUB – https://zomcluub.com/ mang đến không gian giải trí trực tuyến được đông đảo anh em yêu thích nhờ kho game cực chất, đa dạng và siêu hấp dẫn. Luôn đặt trải nghiệm người chơi lên hàng đầu, cổng game không ngừng nâng cấp, khẳng định vị thế đẳng cấp trong làng cá cược. Tham gia ngay hôm nay!
Thank you for the good writeup. It in reality used to be a entertainment account it.
Look complicated to more delivered agreeable from you!
By the way, how can we keep in touch?
Also visit my webpage … my site
sharing information we will wait also for your new article keep posting. 床墊 推薦
JBO không chỉ đơn thuần là một nền tảng cá cược, mà còn là một thế giới giải trí đỉnh cao dành cho những ai khao khát chinh phục thử thách và tận hưởng cảm giác chiến thắng. Tại đây, mỗi ván cược không chỉ là cuộc chơi may rủi mà còn là sự kết hợp giữa chiến lược, bản lĩnh và sự tinh tế. Từ game bài trực tuyến chân thực, cá cược thể thao sôi động đến bắn cá, lô đề và game bài đổi thưởng đa dạng, JBO mang đến trải nghiệm kịch tính và hấp dẫn bậc nhất. Với công nghệ tiên tiến, bảo mật chặt chẽ và dịch vụ hỗ trợ tận tâm, JBO không chỉ là nơi đặt cược, mà còn là hành trình khám phá những giới hạn mới của chính bạn!
SAM86 – https://sam686.net/ là một trong những nhà cái đổi thưởng trực tuyến hàng đầu tại Việt Nam. Ra mắt vào năm 2021, đã nhanh chóng thu hút sự chú ý của đông đảo anh em nhờ vào sự đa dạng trong các trò chơi như đánh bài, quay hũ, slot game, và nhiều hơn nữa.
Now i’m enthusiastic any placed. It is actually great to see a lot of people verbalize from the character not forgetting capacity about in which essential matter location are often perfectly identified. cdpse certification
MAYA4D is a powerful tool for 3D modeling, animation, and rendering, widely used in industries like gaming, film, and architecture. With advanced features and a user-friendly interface, MAYA4D allows designers to create highly detailed and realistic visual effects. Its compatibility with various plugins and rendering engines makes it a top choice for professionals looking to push the boundaries of creativity.
Game bài – https://gameebaidoithuong.com/ mở ra cá cược trực tuyến đỉnh cao, thưởng lớn chờ đón. Game bài mở lối đến trải nghiệm cá cược trực tuyến đầy cuốn hút, hứa hẹn niềm vui bất tận cùng cùng nhà cái. Game bài được yêu thích vì nhiều lý do, bao gồm tính giải trí cao, sự kịch tính trong từng ván đấu và khả năng kết nối giữa người chơi
This post is so powerful! I’ve been feeling stuck, but reading this has given me new motivation. crewlogout com
GAMVIP là thương hiệu cá cược được nhiều người yêu thích nhất hiện nay với kho game đa dạng, chất lượng cùng vô vàn ưu điểm nổi bật khác. GAMVIP là lựa chọn lý tưởng dành cho những ai đam mê khám phá đa dạng các dòng game đỉnh cao. Mỗi trò chơi tại đây đều được đầu tư kỹ lưỡng từ đồ họa, âm thanh đến lối chơi, tạo nên sức hút đầy lôi cuốn.
Very efficiently written information. It will be beneficial to anybody who utilizes it, including me. Keep up the good work. For sure i will check out more posts. This site seems to get a good amount of visitors. alexistogel
This is my first visit to your web journal! We are a group of volunteers and new activities in the same specialty. Website gave us helpful data to work. bandar togel online
I am really enjoying reading your well written articles. It looks like you spend a lot of effort and time on your blog. I have bookmarked it and I am looking forward to reading new articles. Keep up the good work. یک بت
https://cwin.ren/ đang là một trong những nền tảng cá cược trực tuyến phát triển nhanh chóng tại Việt Nam, với sự quản lý và cấp phép từ các cơ quan có thẩm quyền hàng đầu.
88Vin – https://88vinnn.com/ – Cổng game đẳng cấp hàng đầu mang đến trải nghiệm cá cược chuyên nghiệp với sự uy tín và an toàn tuyệt đối. Sở hữu giấy phép hoạt động hợp pháp, cổng game cam kết bảo mật thông tin, đa dạng tựa game và ưu đãi hấp dẫn.
join us on the online game site that can produce super large amounts of money prizes that you can get on our website join us now here and get your prize on our website https://mgogaming.com/