Dat er veel gevochten is rondom het kasteel Poederoijen is bekend; een bewijs dat dit stukje Bommelerwaard van belang is voor de regionale en de nationale geschiedenis. Het kasteel heeft vanaf de stichting, waarschijnlijk reeds rond het jaar 1000 vele "gezichten" gekend. Na verwoesting of afbraak werd het weer hersteld, nooit meer in de oude vorm zoals het oorspronkelijk werd gebouwd.
In 1493 werd in opdracht van Hertog Karel door Gerard van Weerdenburg het kasteel ingenomen en werd het slot leeggeroofd. In 1505 werd Poederoijen veroverd door de Bourgondiërs, spoedig daarna door Hertog Karel weer heroverd. In de strijd tussen Brabant (de Bourgondiërs) Holland en Gelderland speelde het kasteel Poederoijen met zijn strategische ligging een belangrijke rol. Uit deze periode stammen ook de verhalen van de strooptochten van de zwarte bende. In 1518 werd de 
heerlijkheid Poederoijen weer beleend door hertog Karel van Gelderland. Maarten van Rossem werd de nieuwe heer van Poederoijen. Dank zij deze 'leen" heeft Maarten in de loop der jaren macht en aanzien gekregen. Hij liet het kasteel herstellen echter al in 1528 werd het door een groep ruiters uit Den Bosch met behulp van buskruit verwoest en in brand gestoken. Het kasteel is daarna door Maarten van Rossem weer hersteld. Naast dit kasteel hebben nog lang de resten van de middeleeuwse burcht gestaan. Helaas is uiteindelijk dit kasteel in 1672 in de Franse oorlog verwoest.
Uit een geschiedenisboek gedrukt in 1741 onder de titel "tegenwoordige staat de vereenigde Nederlanden" citeren we het volgende: Een half uur gaans beneden Aalst aan den Maaskant, legt Poederoyen, een dorp en heerlykheid, in de Geldersche geschiedenissen inzonderheid vermaard, om het pragtig en sterk slot, dat 'er by gebouwd was, en in verscheidene oorlogen veel geleeden hebbende eindelyk, in't jaar 1672, op dat 'er de 
Franschen niet in nestelen zouden, t'eenenmaal verwoest geworden is. Het was gebouwd op de grondslagen van een ouder huis, dat door Keizer Maximiliaan bemagtigd zynde, al in den jaare 1508 afgebroken werdt. Zy, die dit slot Castrum Puerorum of Kinderen Slot genoemd, en gewild hebben, dat het, ter gedagntenisse der vreemde geboorte van driehonderd vyf en zestig kinderen, door Margreet of Magteld, Graavinne van Hennenberg, t'eener dragt voortgebragt, gestigt zy, bouwen eene beuzelagtige naamreden op een nog beuzelagtiger verdigtsel. Sedert eenige jaren is hier een nieuw huis getimmert; 't welk egter in aanzien by het oude niet haalen kan."
In het blad "Tussen de Voorn en Loevestein is in juli 2024 een artikel verschenen met daarin een tekening van de schilder Jan Meerhout. Het schilderij staat bekend als de abdij van Berne, maar blijkt het kasteel van Poederoijen te zijn rond 1600, gezien vanaf de westzijde. (zie afbeelding )
In september 1999 is een onderzoek naar de restanten van het kasteel Poederoijen geweest. Het werk viel onder de verantwoording van mevrouw F. de Roode, provinciaal archeologe van Gelderland en werd uitgevoerd door de gemeentelijke archeologische dienst in Den Bosch, en stond onder directe leiding van de heren Hans Jansen en Johan Trelink. Alle bevindingen, werden door middel van tekeningen en foto's gedocumenteerd. Het hele project stond onder bescherming van het ROB, (Rijksoudheidkundig bodemonderzoek in Amersfoort), de Provincie Gelderland en de Gemeente Zaltbommel. Ook het Polderdistrict Groot Maas en Waal verleende medewerking. Eén en ander werd betaald uit het fonds dijkverbetering van de provincie Gelderland. Het onderzoek heeft enkele weken geduurd. Er zijn interessante vondsten gedaan. Er werd zelfs een stuk slotgracht uitgegraven, de buitenmuur van de keuken, grenzend aan de slotgracht werd toen zichtbaar, ook een stortkoker waarin het afval uit de keuken werd gedeponeerd was goed te zien. Deze stortkoker stond vanuit de keuken rechtstreeks in verbinding met de slotgracht. Ook werden in de keuken van het kasteel twee ronde ovens blootgelegd. Zelfs asresten zijn bewaard gebleven. In dit gedeelte van het kasteel werd dus het eten bereid. Ook is duidelijk dat op dit gedeelte na 1500 nog gebouwd is, terwijl op de andere muurresten die bloot lagen geen sporen van bouw na de verwoesting zijn gevonden. In dit gedeelte kon men opmaken dat het een overwelfde keuken was. Een tongewelf met drie penanten, drie ronde bogen steunden dan het geheel. In de buitenmuur zaten tussen de penanten ook boogconstructies met daartussen de vensters waardoor het licht naar binnenviel. Langs de muur (evenwijdig aan de dijk), zijn aan weerskanten diepe gaten gegraven. Op anderhalve meter diepte, onder deze muur trof men de oudste bouwfase aan, een fundering die rond 1300 gebouwd moet zijn. Aan de grondstructuur is hier te zien dat die muur in "verse" grond gegraven is. De grond onder de stenen is "schoon". Duidelijk is in de doorsnede een schuine afscheiding te zien waar gegraven is om de fundering te metselen. Tegen de fundering kon men vermengde grond zien liggen. De conclusie kon dan ook getrokken worden dat het kasteel rond 1300 gebouwd moet zijn geweest. Aan de rivierzijde heeft men geen sporen van een gracht ontdekt, waardoor waarschijnlijk dit een binnenmuur was, met aangrenzend een binnenplaats. Doordat dit onderzoek maar beperkt uitgevoerd kon worden wat oppervlakte en diepte betreft, kon men geen volledige conclusies trekken. Ook werd er bij dit onderzoek niets gesloopt. Dat is ook een archeologisch principe vertelde de heer Johan Treling van de archeologische dienst uit Den Bosch. Als iets gaaf onder de grond kan blijven, blijft de archeoloog er van af. Dit is dan ook de beste bescherming. Als er door omstandigheden op een terrein gegraven moet worden en het object wordt bedreigd, wordt er meestal pas onderzoek gedaan, zoals in dit geval aan de Maas bij Poederoijen.
Bij de werkzaamheden aan de Maasdijk werden in oktober 2000 weer restanten blootgelegd van het voormalige kasteel. De polder heeft na overleg met de provinciaal archeologe uit Den Bosch mevrouw De Roode de archeologische adviesdienst RAAP ingeschakeld om de muurresten, die na het verwijderen van de asfaltlaag bloot kwamen te liggen, in kaart te brengen. De hoek van de muren die toen zichtbaar waren, kon men vroeger bij laag water buitendijks goed zien. Bij het aanschouwen van de restanten kwamen die verhalen bij de bewoners los. Waarschijnlijk is het deel wat tijdens de werkzaamheden bloot lag het voorste gedeelte van het kasteel geweest vertelde een medewerker van RAAP, hij wees dan ook naar het dieper liggende gedeelte in het nabijgelegen populierenbos, dat duidt op de scheiding van het voorste en achterste gedeelte van het kasteel. Enkele muurresten en de bovenste delen van een tongewelf waren zichtbaar, die werden na afloop van het onderzoek keurig afgedekt onder het zand, zodoende worden ze op de beste manier bewaard voor het nageslacht. Het Regionaal Archeologisch Archiverings Project (RAAP) is een landelijk adviesbureau, gespecialiseerd in archeologisch onderzoek voor overheidsinstanties of bedrijven. Zij stellen zich tot doel archeologische objecten in kaart te brengen ten behoeve van planologische besluitvorming. Archeologische kartering is belangrijk omdat bij werkzaamheden zoals hier de dijkverzwaring van de Maasdijken, altijd rekening gehouden moet worden met wat men in de bodem tegenkomt. Zo heeft RAAP o.a. gewerkt aan het vervaardigen van een kaart van de uiterwaarden van de Waal, Neder-Rijn, Lek en IJssel ten behoeve van het project Ruimte voor Rijntakken.
HET HUIS
De origine tekening is te bekijken op de link naar het Stadskasteel te Zaltbommel: KLIK HIER
In de omgeving van het kasteel heeft tot het eind van de vorige eeuw inderdaad ook een aanzienlijk huis gestaan. Van dit huis is bekend dat het in bezit geweest is van de familie Viruly. Het huis droeg de naam: 'Steede Buitenrust' De familie Viryly had op hun terrein een stoomaardappelmeel- en een stijfselfabriek, terwijl in de tijd van de vorige bezitter Rom door een zekere Olivier in 1829 een aardappelmoutbranderij en in 1836 een Bierbrouwerij annex azijnmakerij opgericht werd. Vijfentwintig jaar was er op deze plek industrie.
Uit een brief van 20 juni 1876, gericht aan M.J.E. Viruly van Poederoyen te Amersfoort, afkomstig van De Commissie van Watersnood voor Brakel en Poederoyen blijkt dat het Heerenhuis toen gebruikt was als huisvesting voor degene die hun woning verloren hadden. De brief was ondertekend door de voorzitter Van Dam en de secretaris penningmeester de heer L. W. Loysen Dillié, geneesheer te Brakel. Ook uit een krantenbericht van het Vaderland van 28 maart 1876 blijkt dat met name de geredden van de Vleugeldijk voor het grootste gedeelte opgenomen waren in het Heerenhuis. Ruim honderd vluchtelingen vonden daar onderdak. Bij een bezoek van de krant aan het herenhuis bleek dat de huisgezinnen over de verschillende kamers waren verdeeld. Iedere kamer was van een kookkachel voorzien. de oudere vrouwen bereidden het middagmaal en de jongere vrouwen waren aan het schrobben en wassen. De mannen moesten zich, wanneer de omstandigheden en het weer dat gedoogden, buiten het huis ophouden, een uitmuntende maatregel om de lucht binnenshuis zolang en zoveel mogelijk fris te houden. De voorraadkamers van het Heerenhuis waren door de zorg der Gorinchemse commissie een aanzienlijke hoeveelheid van allerhande levensmiddelen bijeengebracht. Er lagen stapels broden, tonnen met scheepsbeschuit, spek, kaas, en bussen met verduurzaamde spijzen waaronder zelfs enkele met doperwten. Ook aan brandstoffen en veevoeder was evenmin geen gebrek. Het vee was ondergebracht in de stallen en gedeeltelijk in een loods. De heren van Andel en Brienen, beide leden van de Brakelse commmissie waren belast met de dagelijkse uitdeling van levensmiddelen en verdere behoeften. Op de tekening bij dit artikel zien we de stoomboot Gorinchem-Sleeuwijk aangemeerd bij het "witte huis". De Gorinchemse uitgever J.H. Knierum gaf na de watersnood van maart 1876 een gedenkplaat uit waarvan de opbrengst bestemd was voor de "noodlijdenden" van deze watersnood. De kunstschilder Jan Kuijpers maakte hiervoor de tekeningen. Op de tweede gedenkplaat die dat jaar uitgegeven werd is het huis van Poederoijen ook te zien. Het huis is waarschijnlijk door een brand verwoest en in 1885 volledig afgebroken.
In januari 2020 is op dit terrein een informatiepaneel geplaatst over het kasteel. De teksten zijn aangeleverd door Mathieu Hutschemakers in samenwerking met Koos Tromp. Beeldmateriaal en QR-code werd verzorgd door Ap de With van de Stichting De Vier Heerlijkheden. Het idee kwam voort uit het levend Landschapproces Poederoijen, de realisatie van het gehele project werd verzorgd door Martijn Grievink, projectleider Stichting landschapsbeheer Gelderland.
De foto's onder dit artikel zijn afkomstig uit de verzameling van Trees Blom, Koos Tromp en Ap de With
