В 1571 г., во время завоевании испанцами Филиппин, они хотели видеть в числе своих союзников и Бруней, но успехом это начинание не увенчалось из-за их вмешательства в междоусобную борьбу в султанате. Европейская колонизация региона сократила доходы Брунея от торговли и значительно уменьшала его значение как крупного торгового центра ЮВА. В стремлении хотя бы в какой-то степени компенсировать свои потери, брунейские правители стали оказывать покровительство морским пиратам, активно промышлявшим вблизи побережья Калимантана.
В последующий период в Брунее началась раздробленность, и каждый местный правитель уже опирался на тот или иной пиратский флот.
В начале XIX в. между Великобританией и Брунеем был подписан торговый договор, но к превращению этой территории в колонию тогда это не привело. Страна находилась в кризисном состоянии, резко сократилось ее население.
В 1846 г. англичане предприняли попытку захвата западной части Брунея — Саравака. В 1863 г. Саравак был признан Великобританией независимым государством во главе с правителем англичанином Д. Бруком. В течение пяти лет он правил Сараваком, а затем, после его смерти, на престол взошел его родственник, Ч.Ж. Брук, правивший этой территорией вплоть до 1917 г. Постепенно к Сараваку присоединялись все новые территории, которые англичане отторговывали от Брунея.
Вскоре и Северо-Восточная часть Брунея — Сабах, оказалась под британским контролем, и Бруней уменьшился до размеров крошечного государственного образования.
С 1888 г. на всей территории Северного Калимантана был установлен режим британского протектората.
Определенный интерес к Сабаху с середины XIX в. стали проявлять США, заключившие с Брунеем договор о наибольшем благоприятствовании. В 1865 г. американцами была организована торговая компания, которая вскоре разорилась.
В 1877 г. султан Брунея передал в аренду часть своих владений вновь образованной «Компании Британского Северного Борнео».
В 1885 г. был подписан англо-испанский договор, согласно которому Великобритания признавала испанские права на о. Сулу, а Испания, в свою очередь, отказалась от своих притязаний на Сабах. С 1891 г. были установлены официальные границы между Сабахом и голландской частью Калимантана.
На территории Сабаха активную деятельность развернул английский капитал. Из Сабаха вывозились: слоновая кость, гуттаперча, камфара и другие товары. С середины 80-х гг. XIX в. началась заготовка древесины, вскоре ставшей главным экспортным товаром, отправлявшимся в Китай и Австралию. С конца XIX в. началась добыча руды, создавались плантации табака и каучука. В страну пошел приток китайских иммигрантов, занимавшихся торговлей, ремеслом, а также работавших на плантациях и на рудниках. Коренное население пыталось сопротивляться, особенно даяки, поднявшие крупное восстание в первой половине 90-х гг. В ответ колониальные власти применяли жестокие меры для их подавления, одновременно пытаясь разжечь вражду между малайцами и даяками. Такого рода выступления проходили и на территории Сабаха.