Первый альбом Black Sabbath принято считать одним из первых хэви метал-альбомов, заложившим, кроме того, фундамент и для последующего развития дум-метала. Девять альбомов группы входили в первую десятку UK Albums Chart. К 2000 году общий тираж альбомов Black Sabbath приблизился к ста миллионам.

С 1995 группа не выпускает новых альбомов и собирается вместе в «классическом» составе 1970-х годов только для отдельных концертов. Большинство участников занимаются сольной деятельностью. Кроме того, Тони Айомми и Гизер Батлер восстановили сотрудничество с Ронни Джеймсом Дио (который пел в группе в начале 1980-х годов) и начали выступать (из-за проблем, связанных с правами на название) как Heaven And Hell.

Группу образовали четверо друзей детства из Астона, Бирмингем: Оззи Осборн, Тони Айомми, Гизер Батлер и Билл Уорд. Музыкальный «мозг» будущего состава, гитарист Айомми, играл до 1966 года в нескольких местных группах: The In Crowd, The Birds and the Bees, а затем в Mythology: он рассказывал, что в то время находился под влиянием Хэнка Марвина (гитариста The Shadows) и джазовых гитаристов, особенно Джанго Рейнхардта. Осборн вспоминал позже, что его любимыми исполнителями были The Beatles (особенно Revolver), а кумиром — Джон Леннон.

В 1968 году, после распада Mythology, Айомми и Уорд решили собрать новый коллектив, который бы играл тяжёлый блюз. Они пригласили в состав Батлера и Осборна, в то время — участников группы Rare Breed, — после того, как заметили в местном музыкальном магазине написанное последним объявление: «Оззи-Зигу нужен ‘гиг’ — усилитель имеется».

Поначалу группа играла блюз-рок, но вскоре сосредоточилась на более «тёмной» музыке и оккультной тематике. Эта идея впервые пришла в голову Айомми: как-то раз, глядя из окна на очередь за билетами в кинотеатр, где шёл фильм Марио Бава «Чёрная суббота» (в англоамериканском прокате он вышел под названием «Black Sabbath») с Борисом Карлоффом в главной роли, он заметил: «Если людям нравятся пугающие фильмы, может, им понравится пугающая музыка?».

В пятницу 13 февраля 1970 года Black Sabbath вышел в свет. Он поднялся до #8 в UK Albums Chart, четыре месяца спустя был выпущен (на Warner Bros. Records) в США, где поднялся до #23 в Billboard 200, продержался в Top 40 около года и разошёлся за это время миллионным тиражом. При том, что альбом имел коммерческий успех (а впоследствии стал — как в США, так и в Великобритании — платиновым), в 1970 году он подвергся серьёзной критике; в частности, был крайне невысоко оценен Лестером Бэнгсом, рецензентом Rolling Stone. Скептическое отношение к группе со стороны музыкальных критиков сохранялось в течение нмногих лет.

В июне 1972 года квартет собрался вместе в лос-анджелесской студии Record Plant для того, чтобы приступить к работе над четвёртым альбомом. Процесс оказался осложнён проблемами, связанными, в основном, со злоупотреблением различными препаратами. Билл Уорд вспоминал, как перед началом работы над «Cornucopia» музыканты накачали себя наркотиками, просто усевшись посередине комнаты, после чего он преисполнился к композиции таким отвращением, что позже из-за этого едва не был уволен.

Вышедший в ноябре 1973 года Sabbath Bloody Sabbath стал первым альбомом группы, получившим положительные рецензии, в том числе и в Rolling Stone, рецензент которого Гордон Флетчер назвал пластинку «необычайно захватывающей» и «несомненно удачной». Альбом, названный рецензентом Allmusic «шедевром» и «неотъемлемой частью любой хэви метал-коллекции» стал пятым релизом Black Sabbath, получившим в США статус платинового.

В альбоме Technical Ecstasy, вышедшем 25 сентября 1976 года, отмечены прессой были две песни: ставшая популярной на концертах «Dirty Women» и «It’s Alright», где Билл Уорд дебютировал в качестве вокалиста. В целом работа, начисто лишённая doom-элемента и насыщенная синтезаторным звучанием, вызвала неоднозначную реакцию, а в ретроспективе получила даже ещё более низкие оценки, чем те, что дали ей критики того времени.

13 июля 1985 года Black Sabbath дали концерт в рамках благотворительного мероприятия Live Aid с Оззи Осборном (здесь были исполнены три вещи: «Children Of The Grave», «Iron Man» и «Paranoid»). Но после этого из группы ушли Осборн и Батлер (последний образовал Geezer Butler Band, так и не выпустивший ни одного альбома), оставив Айомми единственным участником оригинального состава.

Вышедший в феврале 1986 года альбом Seventh Star был сольным проектом Тони Айомми, он был автором музыки и текстов, но в последний момент записывающая компания настояла на том, чтобы он вышел под именем Black Sabbath, результатом чего стала надпись на обложке «Black Sabbath featuring Toni Iommi». Альбом, в который были добавлены восточные мотивы, стал ещё меньше напоминать первоначальный стиль группы, а мощный вокал Гленна Хьюза не подходил под материал Black Sabbath. Сам Гленн говорил, что он не был участником этой группы, а состоял в сольном проекте Айомми. Альбом занял двадцать седьмое место в Великобритании.

В 1997 году Батлер записал свой второй альбом Black Science а затем вместе с Оззи и Айомми официально объявил о воссоединении в рамках Black Sabbath для участия в фестивале Ozzfest 1997 года. Место Уорда, который не смог участвовать из за обязательств по своему сольному проекту, занял барабанщик Оззи Майк Бордин. Освободившись от обязательств, Уорд вернулся к коллегам и в декабре 1997 года Black Sabbath выступили в своем первоначальном составе. В рамках Ozzfest музыканты дали два концерта на своей родине в Бирмингеме. Эти концерты были записаны и использованы в дальнейшем для выпуска двойного концертного альбома Reunion 20 октября 1998 года. За трек «Iron Man» в 2000 году, спустя 30 лет после создания, Black Sabbath получили свою первую «Грэмми» в номинация Best Metal Performance.

Несколько лет назад музыканты Тони Айомми, Гизер Батлер, Ронни Джеймс Дио и Винни Апписи воссоединились для совместных гастролей, которые идут под названием Heaven And Hell, а не Black Sabbath. На гастролях играются композиции, записанные группой во времена Дио с альбомов Heaven And Hell, Mob Rules и Dehumanizer, а также с нового альбома The Devil You Know, выпущенного Heaven and Hell в 2009 г.

Оззи Осборн болезненно отреагировал на воссоединение группы без него. Поначалу он почти не комментировал деятельность Heaven and Hell, сказав, что «этот проект не имеет отношения к Black Sabbath, есть только один Black Sabbath».

В интервью, данном перед этим, Sunday Mercury Айомми не исключил возможность совместной работы с Оззи. Он отметил, что хотя их отношения и непросты, но они никогда не прерывали связи между собой. В свою очередь Оззи на вопрос The Pulse of Radio о шансах на возрождение первоначального состава Black Sabbath ответил «Ну, я никогда не говорил никогда».

В конце 2009 года у Дио был диагностирован рак желудка. Певец до последнего надеялся победить недуг и вернуться к концертной деятельности. Турне группы Heaven & Hell по Великобритании, запланированное на лето, было отменено буквально за несколько дней до смерти фронтмена. 16 мая 2010 года в 18:45 по московскому времени Дио скончался.

24 июля 2010 прошёл High Voltage Festival 2010, где музыканты почтили память Дио, выступив в составе:

* Тони Айомми — гитара
* Гизер Батлер — бас
* Винни Апписи — ударные
* Гленн Хьюз — вокал
* Йорн Ланде — вокал.