Johnny Depp zgodził się przyjąć rolę tuż po przeczytaniu scenariusza. Miał zaskakujące koncepcje co do roli, które zostały jednak zaakceptowane. Depp inspirował się bowiem wyglądem i zachowaniem słynnego gitarzysty Rolling Stonesów – Keitha Richardsa, a także postacią z kreskówki - Pepe Le Pew. Jeśli chodzi o wygląd zewnętrzny, Sparrow miał przypominać współczesnego rastafarianina ze złotymi zębami. Zdaniem Deppa, piraci byli gwiazdami rocka swoich czasów.
Natomiast Rush znalazł klucz do roli Barbossy w tym, że pirat bardzo pragnął uchodzić za dżentelmena, chociaż w rzeczywistości był tylko starym, sprytnym łajdakiem.
Knightley chciała podkreślić współczesny wymiar granej przez siebie postaci i zagrała kobietę silną, pewną siebie i niezależną.
Bloom z kolei nie ukrywał, że postać Willa mogłaby wydać się nieco mdła. Punktem zaczepienia była dla niego relacja pomiędzy Jackiem a młodym Turnerem. Will, wychowany bez ojca, zmuszony jest do przyspieszonego dojrzewania i to Sparrow staje się jego nauczycielem, jakże innym od oficerów marynarki, na których chłopak wcześniej się wzorował.
Bruckheimer podkreślał, że choć film jest fantazją, to jednak wybrano historyczny okres, w którym rozgrywa się akcja – gdzieś pomiędzy rokiem 1720 a 1750 - i zatrudniono historyka Petera Twista jako konsultanta, który czuwał nad spójnością filmowego obrazu piratów, ich otoczenia i zwyczajów. Zatrudniono także konsultantów od spraw szermierki: Roberta Andersona i Marka Iviego („Maska Zorro”). Anderson pracował niegdyś jako dubler samego Erolla Flynna.
Część zdjęć powstała w Kalifornii, w studiach Glendale i Raleigh Studios, oraz w popularnej nadmorskiej miejscowości turystycznej Palos Verdes ze wspaniałą panoramą na Pacyfik. Tu zbudowano Fort Charles - część miasta Port Royal.
Początkowo myślano o tym, by większość zdjęć plenerowych zrealizować poza Karaibami, ze względu na brak słabo zaludnionych wysp w tym rejonie. Lecz ekipie zależało na autentyzmie i w końcu zrezygnowano z pomysłów kręcenia w Tajlandii czy Australii. Wyeliminowano aż 20 karaibskich wysp, głównie z uwagi na wzmożony ruch turystyczny. W końcu kwatera główna ekipy powstała na wyspie St.Vincent, a zdjęcia miały miejsce głównie na innych wyspach okolicznego archipelagu.
Verbinski dołączył do grona tych reżyserów, którzy przeklinają filmy realizowane na wodzie. Obyło się wprawdzie bez spektakularnych katastrof, ale „jeśli coś miało pójść źle, to mogłeś być pewny, że pójdzie źle”. Mowa tu zwłaszcza o kaprysach morza i o zmiennym, odbijającym się w wodzie świetle.
Jako „H.M.S. Interceptor” wystąpił żaglowiec „Lady Washington” - replika amerykańskiego okrętu z 1789 roku, wypożyczona z Grace Harbor Historical Seaport Authority. Natomiast „H.M.S. Dauntless” zbudowano na wzór słynnego angielskiego okrętu wojennego „Victory”. Co do „Czarnej Perły”, to postanowiono, że nie będzie ona mieć żadnych bezpośrednich historycznych wzorców. Jej wygląd miał być po prostu „kwintesencją pirackiego statku”.
W związku z okrętami na planie ekipa przeżyła chwile grozy. W jednej ze scen Depp sterował „Interceptorem”, nie mając o tym pojęcia i o mały włos, a doprowadziłby do kolizji z „Dauntless”.
Ważnym elementem fabuły była przemiana piratów Barbossy w żywe szkielety. Za efekty specjalne odpowiadała słynna firma Industrial Light & Magic. Posłużono się trójwymiarową animacją i zadbano, by każdy szkielet swymi indywidualnymi cechami odpowiadał poszczególnym aktorom. Postanowiono nie używać żadnych ułatwień w postaci zwolnionych czy przyspieszonych zdjęć. Dodatkową trudnością było to, że szkielety musiały wyglądać maksymalnie naturalnie, także w scenach walk.
Jak to ciągle do tej pory bywa w filmach, nie wszystkie sceny można było zainscenizować z pomocą kaskaderów. Tak było ze sceną skoku Sparrowa i Elizabeth z dużej wysokości - z pokładu „Czarnej Perły” do morza. Knightley wahała się aż dwa dni, ale w końcu osobiście wykonała to bardzo trudne zadanie.
